Python 比较文本相似性的方法(difflib,Levenshtein)
更新时间：2018年10月15日 14:50:56 作者：晓东邪
今天小编就为大家分享一篇Python 比较文本相似性的方法(difflib,Levenshtein)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
最近工作需要用到序列匹配，检测相似性，不过有点复杂的是输入长度是不固定的，举例为：
input_and_output = [1, 2, '你好', 世界', 12.34, 45.6, -21, '中国', '美丽']
其中，需要从input_and_output 中选取不固定长度的一段作为输入，且顺序不定，然后去与总体进行比较，找出最符合的，开始是对汉字进行数值化编码，不过后来由于出现汉字越来越多，遂放弃该方法，转向别的方式，查找资料发现了两个python包广被推荐，从下面来看各有优缺点，记录之~
1、difflib
import difflib #python 自带库，不需额外安装 In [49]: test1 Out[49]: ['你好', '我是谁'] In [50]: test2 Out[50]: ['你好啊', '我谁'] In [51]: test3 Out[51]: [12, 'nihao'] In [52]: test4 Out[52]: ['你好', 'woshi'] In [53]: difflib.SequenceMatcher(a=test1, b=test2).quick_ratio() Out[53]: 0.0 In [54]: difflib.SequenceMatcher(a=test1, b=test4).ratio() Out[54]: 0.5
2、Levenshtein
#pip install python-Levenshtein
import Levenshtein
In [56]: Levenshtein.distance(','.join(test1), ','.join(test2))
Out[56]: 2
In [57]: Levenshtein.distance(','.join(test1), ','.join(test4))
Out[57]: 5
简单来说，difflib使用时不一定为字符串，但匹配时只有单个元素完全匹配才计入，
而Levenshtein则需要输入为字符串，匹配时是整体匹配（也可能跟把所有元素集中成一个字符串有关，具体待继续使用再摸索）
以上这篇Python 比较文本相似性的方法(difflib,Levenshtein)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python 实现剪切或是拷贝一个文件列表中的所有文件2009-04-04
这篇文章主要介绍了用Python的线程来解决生产者消费问题的示例,包括对使用线程中容易出现的一些问题给出了相关解答,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了python持久性管理pickle模块详细介绍,本文讲解了什么是持久性、一些经过 pickle 的 Python等内容,并讲给出了18个使用示例,需要的朋友可以参考下2015-02-02
django的聚合函数和aggregate、annotate方法使用详解
这篇文章主要介绍了django的聚合函数和aggregate、annotate方法使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
windows环境下新建或编辑文本文件，保存时会在头部加上BOM。使用ftp上传到linux下，在执行时第一行即报错。以下方法可以去除BOM头，有需要的朋友可以参考下2013-02-02
Python PyMuPDF实现PDF与图片和PPT相互转换
能够用来对PDF文档进行操作的Python包有好几个，如提取内容的PdfPlumber、PDFMiner，可以用来对PDF文件进行修改操作的PyPDF2等等，如果只是需要简单地对PDF文件实现合并、拆分、书签操作，使用PyPDF2就足以满足。但如果想对PDF文件进行一些底层操作，基本上只有PyMuPDF了2022-12-12
这篇文章主要介绍了使用pymysql写入中文的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-03-03
Android+OpenCv4实现边缘检测及轮廓绘制出图像最大边缘
最近工作需求，需要用opencv来先做一个demo，扫描照片进行边缘检测和最大边缘，就整理出来介绍一下，感兴趣的小伙伴们可以参考一下2021-05-05
CSRF（Cross-site request forgery）攻击是一种常见的网络安全漏洞,它可以通过欺骗用户执行恶意请求来攻击 Web 应用程序,本篇文章将介绍python flask是如何预防CSRF攻击,需要的朋友可以参考下2024-04-04
在本篇文章里小编给大家整理的是一篇关于python写try语句的方法相关内容，有兴趣的朋友们可以跟着学习参考下。2020-07-07
最新评论