简述python四种分词工具,盘点哪个更好用?

 更新时间:2021年04月13日 14:18:33   作者:刘志军  
这篇文章主要介绍了python四种分词工具的相关资料,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下

大家好,我是安果!

分词在自然语言处理中有着常见的场景,比如从一篇文章自动提取关键词就需要用到分词工具,中文搜索领域同样离不开分词

Python 中有很多开源的分词工具,下面给大家介绍几款常见的分词依赖库

1. jieba 分词

“结巴” 分词,GitHub 最受欢迎的分词工具,立志做最好的 Python 中文分词组件,支持多种分词模式,支持自定义词典

github star:26k

代码示例

import jieba

strs=["我来到北京清华大学","乒乓球拍卖完了","中国科学技术大学"]

for str in strs:
    seg_list = jieba.cut(str,use_paddle=True) # 使用paddle模式
    print("Paddle Mode: " + '/'.join(list(seg_list)))

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("全模式: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("精确模式: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print("新词识别:", ",".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造")  # 搜索引擎模式
print("搜索引擎模式:", ".join(seg_list))

输出:

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

【精确模式】: 我/ 来到/ 北京/ 清华大学

【新词识别】:他, 来到, 了, 网易, 杭研, 大厦    (此处,“杭研”并没有在词典中,但是也被Viterbi算法识别出来了)

【搜索引擎模式】: 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

项目地址:

https://github.com/fxsjy/jieba

2. pkuseg 分词

pkuseg 是北大语言计算与机器学习研究组开源的一款分词工具

它的特点是支持多领域分词,目前支持新闻领域,网络领域,医药领域,旅游领域,以及混合领域的分词预训练模型,用户可以自由地选择不同的模型

相比通用分词工具,它的分词准确率更高 

github star:5.4k

代码示例

import pkuseg

seg = pkuseg.pkuseg()           # 以默认配置加载模型
text = seg.cut('python是一门很棒的语言')  # 进行分词
print(text)

输出

['python', '是', '一', '门', '很', '棒', '的', '语言']

项目地址:

https://github.com/lancopku/pkuseg-python

3. FoolNLTK 分词

基于 BiLSTM 模型训练而成,据说可能是最准的开源中文分词,同样支持用户自定义词典

GitHub  star: 1.6k

代码示例

import fool

text = "一个傻子在北京"
print(fool.cut(text))
# ['一个', '傻子', '在', '北京']

项目地址:

https://github.com/rockyzhengwu/FoolNLTK

4. THULAC

THULAC 由清华大学自然语言处理与社会人文计算实验室研制推出的一套中文词法分析工具包

具有词性标注功能,能分析出某个词是名词还是动词或者形容词

github star:1.5k

代码示例

 import thulac  

 thu1 = thulac.thulac()  #默认模式
 text = thu1.cut("我爱北京天安门", text=True)  #进行一句话分词
 print(text) # 我_r 爱_v 北京_ns 天安门_ns
 代码示例2
 thu1 = thulac.thulac(seg_only=True)  #只进行分词,不进行词性标注
 thu1.cut_f("input.txt", "output.txt")  #对input.txt文件内容进行分词,输出到output.txt

项目地址:

https://github.com/thunlp/THULAC-Python

目前我在用的还是结巴分词,配合用户自定义词典,解决常见的网络词语

你在用什么分词工具,欢迎留下你的意见

以上就是简述python四种分词工具,盘点哪个更好用?的详细内容,更多关于python 分词工具的资料请关注脚本之家其它相关文章!

相关文章

  • 在Django model中设置多个字段联合唯一约束的实例

    在Django model中设置多个字段联合唯一约束的实例

    今天小编就为大家分享一篇在Django model中设置多个字段联合唯一约束的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • Python中包管理工具pip安装及常用命令总结

    Python中包管理工具pip安装及常用命令总结

    这篇文章主要介绍了Python的包管理工具pip的安装步骤和常用命令,以及如何在Python环境迁移中安装依赖,文中通过图文以及代码示例介绍的非常详细,需要的朋友可以参考下
    2024-12-12
  • CodeWhisperer基于python使用经验分享

    CodeWhisperer基于python使用经验分享

    这篇文章主要为大家介绍了CodeWhisperer基于python使用经验分享,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-11-11
  • 跟老齐学Python之大话题小函数(1)

    跟老齐学Python之大话题小函数(1)

    今天本讲要讲什么呢?今天要介绍几个python中的小函数,这几个函数都是从函数式编程借鉴过来的,它们就是:filter、map、reduce、lambda、yield 有了它们,最大的好处是程序更简洁
    2014-10-10
  • Python3实现的简单三级菜单功能示例

    Python3实现的简单三级菜单功能示例

    这篇文章主要介绍了Python3实现的简单三级菜单功能,涉及Python用户交互以及针对json格式数据的遍历、读取、判断等相关操作技巧,需要的朋友可以参考下
    2019-03-03
  • Python结合DeepSeek API实现PDF转Word的方案

    Python结合DeepSeek API实现PDF转Word的方案

    随着信息化时代的不断推进,PDF和Word文件格式已经成为了日常办公中最常见的文档格式,在许多工作场景中,我们需要将PDF文件转换成Word格式,本文将介绍如何结合DeepSeek API与Python,快速实现一个PDF转Word的工具,需要的朋友可以参考下
    2025-02-02
  • TensorFlow安装CPU版本和GPU版本的实现步骤

    TensorFlow安装CPU版本和GPU版本的实现步骤

    本文主要介绍了TensorFlow安装CPU版本和GPU版本的实现步骤,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2025-03-03
  • 如何在python开发工具PyCharm中搭建QtPy环境(教程详解)

    如何在python开发工具PyCharm中搭建QtPy环境(教程详解)

    这篇文章主要介绍了在python开发工具PyCharm中搭建QtPy环境,本文通过图文并茂的形式给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-02-02
  • OpenCV每日函数之BarcodeDetector类条码检测器

    OpenCV每日函数之BarcodeDetector类条码检测器

    OpenCV在V4.5.3版本的contrib包中提供了一个barcode::BarcodeDetector类,用于条形码的识别,这篇文章主要介绍了OpenCV每日函数 BarcodeDetector条码检测器,需要的朋友可以参考下
    2022-06-06
  • Python Django Vue 项目创建过程详解

    Python Django Vue 项目创建过程详解

    这篇文章主要介绍了Python Django Vue 项目创建过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07

最新评论