Python中jieba库的使用方法

 更新时间:2021年06月16日 10:47:35   作者:留兰香丶  
jieba库是一款优秀的 Python 第三方中文分词库,本文主要介绍了Python中jieba库的使用方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

jieba库是一款优秀的 Python 第三方中文分词库,jieba 支持三种分词模式:精确模式、全模式和搜索引擎模式,下面是三种模式的特点。

精确模式:试图将语句最精确的切分,不存在冗余数据,适合做文本分析

全模式:将语句中所有可能是词的词语都切分出来,速度很快,但是存在冗余数据

搜索引擎模式:在精确模式的基础上,对长词再次进行切分

一、jieba库的安装

因为 jieba 是一个第三方库,所有需要我们在本地进行安装。

Windows 下使用命令安装:在联网状态下,在命令行下输入 pip install jieba 进行安装,安装完成后会提示安装成功

这里写图片描述 

在 pyCharm 中安装:打开 settings,搜索 Project Interpreter,在右边的窗口选择 + 号,点击后在搜索框搜索 jieba,点击安装即可

二、jieba三种模式的使用

# -*- coding: utf-8 -*-
import jieba

seg_str = "好好学习,天天向上。"

print("/".join(jieba.lcut(seg_str)))    # 精简模式,返回一个列表类型的结果
print("/".join(jieba.lcut(seg_str, cut_all=True)))      # 全模式,使用 'cut_all=True' 指定 
print("/".join(jieba.lcut_for_search(seg_str)))     # 搜索引擎模式

分词效果:

这里写图片描述

三、jieba 分词简单应用

需求:使用 jieba 分词对一个文本进行分词,统计次数出现最多的词语,这里以三国演义为例

# -*- coding: utf-8 -*-
import jieba

txt = open("三国演义.txt", "r", encoding='utf-8').read()
words = jieba.lcut(txt)     # 使用精确模式对文本进行分词
counts = {}     # 通过键值对的形式存储词语及其出现的次数

for word in words:
    if len(word) == 1:    # 单个词语不计算在内
        continue
    else:
        counts[word] = counts.get(word, 0) + 1    # 遍历所有词语,每出现一次其对应的值加 1

items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)    # 根据词语出现的次数进行从大到小排序

for i in range(3):
    word, count = items[i]
    print("{0:<5}{1:>5}".format(word, count))

统计结果:

这里写图片描述 

你可以随便找一个文本文档,也可以到 https://github.com/coderjas/python-quick 下载上面例子中的文档。

四、扩展:英文单词统计

上面的例子统计实现了中文文档中出现最多的词语,接着我们就来统计一下一个英文文档中出现次数最多的单词。原理同上

# -*- coding: utf-8 -*-

def get_text():
    txt = open("1.txt", "r", encoding='UTF-8').read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")      # 将文本中特殊字符替换为空格
    return txt

file_txt = get_text()
words = file_txt.split()    # 对字符串进行分割,获得单词列表
counts = {}

for word in words:
    if len(word) == 1:
        continue
    else:
        counts[word] = counts.get(word, 0) + 1 

items = list(counts.items())    
items.sort(key=lambda x: x[1], reverse=True)      

for i in range(5):
    word, count = items[i]
    print("{0:<5}->{1:>5}".format(word, count))

统计结果:

这里写图片描述

到此这篇关于Python中jieba库的使用方法的文章就介绍到这了,更多相关Python jieba库内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python类的继承实例详解

    python类的继承实例详解

    这篇文章主要介绍了python类的继承实例详解的相关资料,需要的朋友可以参考下
    2017-03-03
  • 用Cython加速Python到“起飞”(推荐)

    用Cython加速Python到“起飞”(推荐)

    这篇文章主要介绍了用Cython加速Python到“起飞”,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-08-08
  • 探究数组排序提升Python程序的循环的运行效率的原因

    探究数组排序提升Python程序的循环的运行效率的原因

    这篇文章主要介绍了探究数组排序提升Python程序的循环的运行效率的原因,作者用代码实践了多个小片段来进行对比解释,需要的朋友可以参考下
    2015-04-04
  • python2.7实现FTP文件下载功能

    python2.7实现FTP文件下载功能

    这篇文章主要为大家详细介绍了python 2.7 实现FTP文件下载功能,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-04-04
  • python 高阶函数简单介绍

    python 高阶函数简单介绍

    这篇文章主要介绍了python 高阶函数的相关资料,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2021-02-02
  • Python如何绘制概率分布直方图浅析

    Python如何绘制概率分布直方图浅析

    项目中在前期经常要看下数据的分布情况,这对于探究数据规律非常有用,概率分布表示样本数据的模样,使用Python绘制频率分布直方图非常简洁,因为用的频次非常高,这篇文章主要给大家介绍了关于Python如何绘制概率分布直方图的相关资料,需要的朋友可以参考下
    2021-12-12
  • python使用PIL把透明背景图片转成白色背景的示例代码

    python使用PIL把透明背景图片转成白色背景的示例代码

    当我们在采集一些图片的时候,这些图片的背景经常是透明的,但是如何把透明背景转成白色背景呢,接下来就给大家解决这个问题,本文主要介绍了python使用PIL把透明背景图片转成白色背景,需要的朋友可以参考下
    2023-08-08
  • python实点云分割k-means(sklearn)详解

    python实点云分割k-means(sklearn)详解

    这篇文章主要为大家详细介绍了Python实点云分割k-means,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-05-05
  • Python:Scrapy框架中Item Pipeline组件使用详解

    Python:Scrapy框架中Item Pipeline组件使用详解

    这篇文章主要介绍了Python:Scrapy框架中Item Pipeline组件使用详解,具有一定借鉴价值,需要的朋友可以参考下
    2017-12-12
  • Python 变量命名规则和定义变量详解

    Python 变量命名规则和定义变量详解

    这篇文章主要为大家介绍了Python 变量命名规则和定义变量,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2021-12-12

最新评论