脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python词频统计工具

基于Python制作一个词频统计工具的完整指南

 更新时间：2025年08月08日 09:22:29   作者：超级小识  
词频统计是自然语言处理(NLP)和文本分析的基础工具之一,它通过统计一段文本中每个单词出现的频率,可以帮助用户快速了解文本的关键内容和主题分布,本教程将详细介绍如何用 Python 编写一个简单的词频统计工具,适合没有任何编程经验的用户,需要的朋友可以参考下

引言

词频统计是自然语言处理(NLP)和文本分析的基础工具之一，它通过统计一段文本中每个单词出现的频率，可以帮助用户快速了解文本的关键内容和主题分布。这种技术广泛应用于搜索引擎优化(SEO)、舆情分析、学术研究等多个领域。例如，新闻编辑可以通过词频统计快速发现报道中的高频词汇，判断报道重点；市场营销人员可以分析消费者评论中的高频词来了解产品反馈。

本教程将详细介绍如何用 Python 编写一个简单的词频统计工具，适合没有任何编程经验的用户。我们将从最基本的Python安装开始讲解，逐步介绍字符串处理、字典使用等核心概念，最终完成一个可以统计文本文件中单词出现次数的完整程序。教程中会包含以下具体内容：

  1. Python环境的安装与配置
  2. 文本文件的读取方法
  3. 字符串的分词处理
  4. 使用字典统计词频
  5. 结果排序与输出
  6. 常见问题的解决方案

每个步骤都会配有详细的代码示例和解释说明，确保即使是从未接触过编程的用户也能轻松上手。最终完成的工具可以处理包括英文小说、新闻报道、产品评论等各种类型的文本数据。

词频统计的基本原理

词频统计的核心逻辑是：

  1. 读取文本：从文件或用户输入中获取文本内容。
  2. 分词处理：将文本拆分成单词。
  3. 统计频率：计算每个单词出现的次数。
  4. 排序输出：按照词频从高到低排序，并输出结果。

环境准备

在开始之前，确保已经安装 Python（建议 3.6 及以上版本）。可以通过以下方式检查是否安装成功：

python --version

如果没有安装，可以从 Python 官网 下载并安装。

代码实现

1. 读取文本

def read_text(file_path):
    try:
        with open(file_path, 'r', encoding='utf-8') as file:
            return file.read()
    except FileNotFoundError:
        print("文件未找到，请检查路径！")
        return None
  • file_path：文本文件的路径（如 text.txt）。
  • with open()：Python 文件操作的标准方式，确保文件读取后自动关闭。
  • encoding='utf-8'：避免中文或其他非 ASCII 字符的乱码问题。

2. 分词处理

import re

def split_words(text):
    words = re.findall(r'\b\w+\b', text.lower())
    return words
  • re.findall()：使用正则表达式匹配单词。
  • \b\w+\b：匹配单词边界，避免标点符号干扰。
  • text.lower()：将所有单词转换为小写，避免大小写重复统计。

3. 统计词频

from collections import defaultdict

def count_words(words):
    word_count = defaultdict(int)
    for word in words:
        word_count[word] += 1
    return word_count
  • defaultdict(int)：自动初始化字典，避免键不存在的错误。
  • word_count[word] += 1：统计每个单词的出现次数。

4. 排序并输出结果

def sort_and_print(word_count, top_n=10):
    sorted_words = sorted(word_count.items(), key=lambda x: x[1], reverse=True)
    for word, count in sorted_words[:top_n]:
        print(f"{word}: {count} 次")
  • sorted()：按词频降序排序。
  • top_n=10：默认显示前 10 个高频词。

5. 主函数整合

def main():
    file_path = input("请输入文本文件路径（如 text.txt）：")
    text = read_text(file_path)
    if text is None:
        return

    words = split_words(text)
    word_count = count_words(words)
    sort_and_print(word_count)

完整代码

import re
from collections import defaultdict

def read_text(file_path):
    try:
        with open(file_path, 'r', encoding='utf-8') as file:
            return file.read()
    except FileNotFoundError:
        print("文件未找到，请检查路径！")
        return None

def split_words(text):
    words = re.findall(r'\b\w+\b', text.lower())
    return words

def count_words(words):
    word_count = defaultdict(int)
    for word in words:
        word_count[word] += 1
    return word_count

def sort_and_print(word_count, top_n=10):
    sorted_words = sorted(word_count.items(), key=lambda x: x[1], reverse=True)
    for word, count in sorted_words[:top_n]:
        print(f"{word}: {count} 次")

def main():
    file_path = input("请输入文本文件路径（如 text.txt）：")
    text = read_text(file_path)
    if text is None:
        return

    words = split_words(text)
    word_count = count_words(words)
    sort_and_print(word_count)

if __name__ == "__main__":
    main()

使用方法

准备文本文件（如 text.txt），内容如下：

Python is a great language. Python is easy to learn. Python is powerful.

运行脚本：

python word_counter.py

输入文件路径：

请输入文本文件路径（如 text.txt）：text.txt

查看输出：

python: 3 次
is: 3 次
a: 1 次
great: 1 次
language: 1 次
easy: 1 次
to: 1 次
learn: 1 次
powerful: 1 次

进阶优化

1. 过滤停用词（如 the, is, a）

def remove_stopwords(words):
    stopwords = {'a', 'an', 'the', 'is', 'and', 'or'}
    return [word for word in words if word not in stopwords]

2. 支持命令行参数

import argparse

def parse_args():
    parser = argparse.ArgumentParser(description="词频统计工具")
    parser.add_argument("file_path", help="文本文件路径")
    parser.add_argument("--top", type=int, default=10, help="显示前 N 个高频词")
    return parser.parse_args()

if __name__ == "__main__":
    args = parse_args()
    text = read_text(args.file_path)
    if text is None:
        exit(1)
    words = split_words(text)
    word_count = count_words(words)
    sort_and_print(word_count, args.top)

运行方式：

python word_counter.py text.txt --top 5

总结

本教程详细介绍了如何用 Python 实现一个简单的词频统计工具，包括：

  • 文件读取
  • 分词处理
  • 词频统计
  • 排序与输出

通过优化，可以进一步提升工具的实用性，例如支持停用词过滤、命令行参数等。希望这篇教程能帮助初学者理解 Python 的基本语法和文本处理技巧。

以上就是基于Python制作一个词频统计工具的完整指南的详细内容，更多关于Python词频统计工具的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • Python如何导出导入所有依赖包详解

    Python如何导出导入所有依赖包详解

    在Python中我们在项目中会用到各种库,自带的自然不必再说,这篇文章主要给大家介绍了关于Python如何导出导入所有依赖包的相关资料,需要的朋友可以参考下
    2021-06-06
  • Python openpyxl模块原理及用法解析

    Python openpyxl模块原理及用法解析

    这篇文章主要介绍了Python openpyxl模块原理及用法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-01-01
  • Python导入模块时遇到的错误分析

    Python导入模块时遇到的错误分析

    这篇文章主要给大家详细解释了在Python处理导入模块的时候出现错误以及具体的情况分析，非常的详尽，有需要的小伙伴可以参考下
    2017-08-08
  • 详解Python的Django框架中的Cookie相关处理

    详解Python的Django框架中的Cookie相关处理

    这篇文章主要介绍了详解Python的Django框架中的Cookie相关处理,Cookie存储是每个开发框架都会着重注意的重要功能,需要的朋友可以参考下
    2015-07-07
  • python程序需要编译吗

    python程序需要编译吗

    在本篇文章里小编给大家整理了关于python程序编译相关的知识点内容，有兴趣的朋友们参考学习下。
    2020-06-06
  • Python 基础之字符串string详解及实例

    Python 基础之字符串string详解及实例

    这篇文章主要介绍了Python 字符串(string) 的相关资料,需要的朋友可以参考下
    2017-04-04
  • 在MAC上搭建python数据分析开发环境

    在MAC上搭建python数据分析开发环境

    这篇文章主要介绍了在MAC上搭建python数据分析开发环境的相关资料,需要的朋友可以参考下
    2016-01-01
  • python内置模块OS 实现SHELL端文件处理器

    python内置模块OS 实现SHELL端文件处理器

    这篇文章主要介绍了python内置模块OS实现SHELL端文件处理器，文章通过围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
    2022-09-09
  • python sorted方法和列表使用解析

    python sorted方法和列表使用解析

    这篇文章主要介绍了python sorted方法和列表使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-11-11
  • Python3安装Pillow与PIL的方法

    Python3安装Pillow与PIL的方法

    今天小编就为大家分享一篇关于Python3安装Pillow与PIL的方法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2019-04-04

最新评论