python利用多种方式来统计词频（单词个数）
更新时间：2019年05月27日 15:02:50 作者：Sinte-Beuve
这篇文章主要介绍了python利用多种方式来统计词频（单词个数），小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
python的思维就是让我们用尽可能少的代码来解决问题。对于词频的统计，就代码层面而言，实现的方式也是有很多种的。之所以单独谈到统计词频这个问题，是因为它在统计和数据挖掘方面经常会用到，尤其是处理分类问题上。故在此做个简单的记录。
统计的材料如下：
document = [ 'look', 'into', 'my', 'eyes', 'look', 'into', 'my', 'eyes', 'the', 'eyes', 'the', 'eyes', 'the', 'eyes', 'not', 'around', 'the', 'eyes', "don't", 'look', 'around', 'the', 'eyes', 'look', 'into', 'my', 'eyes', "you're", 'under']
直接使用dict来进行统计（遍历+循环）
word_count = {}
for word in document:
if word in word_count:
word_count[word] += 1
else:
word_count[word] = 1
更优雅的实现方式
#假如字典中不存在给定的键，则返回参数中提供的默认值；反之，则返回字典中保存的值。 for word in document: previous_count = word_count.get(word, 0) word_count[word] = previous_count + 1 #可以合并成一行 for word in document: word_count[word] = word_count.setdefault(word, 0) + 1
使用defalutdict来实现
# 使用collections中的defalutdict来实现，defalutdict是一种值可以默认设置的dict from collections import defaultdict word_count = defaultdict(int) for word in document: word_count[word] += 1
使用Counter
word_counter = Counter(document)
Counter既然是一个计数器，那么它本身也就具有很多统计的方法。例如，最常见的词频统计的排序，可以获得前n个最高的词频。
# 返回前n个最高词频，以字典的形式 word_counter.most_common(n)
显然，使用defalutdict和Counter代码最简洁，更能符合python开发之道。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
今天做项目的时候用到七牛云，关于对资源的操作是在后端做的，用的SDK，这篇文章主要介绍了七牛云的python sdk 是如何 批量删除资源的,需要的朋友可以参考下2021-10-10
这篇文章主要介绍了Python编程argparse入门浅析，分享了相关代码，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-02-02
这篇文章主要介绍了pandas中Series的代码实例解析,Series序列，是一种一维的结构，类似于一维列表和ndarray中的一维数组，但是功能比他们要更为强大，Series由两部分组成：索引index和数值values,需要的朋友可以参考下2023-07-07
这篇文章主要介绍了Python queue队列原理与应用,结合具体案例形式分析了Python queue队列的原理、功能、实现方法与使用技巧,需要的朋友可以参考下2019-09-09
html库是用于解析HTML的一个工具，是python自带的标准库之一，今天通过本文给大家介绍下python中的标准库html，感兴趣的朋友一起看看吧2022-04-04
Python利用pandas和matplotlib实现绘制柱状折线图
这篇文章主要为大家详细介绍了如何使用 Python 中的 Pandas 和 Matplotlib 库创建一个柱状图与折线图结合的数据可视化图表,感兴趣的可以了解一下2023-11-11
这篇文章主要介绍了Python远程创建docker容器的方法,如果docker ps找不到该容器,可以使用 docker ps -a查看所有的,然后看刚才创建的容器的STATUS是EXIT0还是EXIT1如果是1,那应该是有报错,使用 docker logs 容器id命令来查看日志,根据日志进行解决,需要的朋友可以参考下2024-04-04
Flask是一个用Python编写的Web应用程序框架，Flask是python的web框架，最大的特征是轻便，让开发者自由灵活的兼容要开发的feature。这篇文章主要介绍了flask实现验证码并验证,需要的朋友可以参考下2019-12-12
这篇文章主要为大家介绍了Python运维自动化psutil模块的监控和管理深入探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
这篇文章主要为大家详细介绍了Python的函数基础，使用了函数参数和递归函数，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-01-01
最新评论