编写简单的Python程序来判断文本的语种
更新时间：2015年04月07日 17:00:13 投稿：goldensun
这篇文章主要介绍了编写简单的Python程序来判断语种,代码非常简单,主要用到了langid工具包,需要的朋友可以参考下
1.问题的描述
用Python进行文本处理时，有时候处理的文本中包含中文、英文、日文等多个语系的文本，有时候不能同时进行处理，这个时候就需要判别当前文本是属于哪个语系的。Python中有个langid工具包提供了此功能，langid目前支持97种语言的检测，非常好用。
2.程序的代码
以下Python是调用langid工具包来对文本进行语言检测与判别的程序代码：
import langid #引入langid模块
def translate(inputFile, outputFile):
fin = open(inputFile, 'r') #以读的方式打开输入文件
fout = open(outputFile, 'w') #以写的方式打开输出文件
for eachLine in fin: #依次读入每一行
line = eachLine.strip().decode('utf-8', 'ignore') #去除每行的首位空格等，并统一转化成Unicode
lineTuple = langid.classify(line) #调用langid来对该行进行语言检测
if lineTuple[0] == "zh": #如果该行语言大部分为中文，则不进行任何处理
continue
outstr = line #如果该行语言为非中文，则准备输出
fout.write(outstr.strip().encode('utf-8') + '\n') #输出非中文的行，从Unicode转化成utf-8输出
fin.close()
fout.close()
if __name__ == '__main__': #相当于main函数
translate("myInputFile.txt", "myOutputFile.txt")
以上代码是用来处理一个文本，将不属于中文的行依次输出到一个新的文件。
3.注意
第9、10行代码，langid.classify(line)的输出结果是一个二元组，二元组的第一项表示该文本所属的语系，如：zh表示中文、en表示英语、等等；二元组的第二项表示该文本中属于第一项中语系的所占比例。
希望对大家有所帮助。
相关文章
这篇文章主要给大家介绍了Python数据分析之真实IP请求Pandas，文中通过示例嗲吗给大家介绍的很详细，相信对大家的学习或者理解具有一定的参考借鉴价值，有需要的朋友们可以参考借鉴，下面来一起学习学习吧。2016-11-11
Python利用Charles 实现全部自动答题思路流程分析
这篇文章主要介绍了Python利用Charles 实现全部自动答题思路流程分析,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-08-08
我的读者知道我是一个喜欢痛骂Python3 unicode的人。这次也不例外。我将会告诉你用unicode有多痛苦和为什么我不能闭嘴。我花了两周时间研究Python3，我需要发泄我的失望。在这些责骂中，仍然有有用的信息，因为它教我们如何来处理Python3。如果没有被我烦到，就读一读吧2014-11-11
这篇文章主要介绍了python判断给定的字符串是否是有效日期的方法,涉及Python针对字符串与日期操作的相关技巧,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了python高阶函数map（）和reduce（）实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
math库是python的内置数学类函数库，支持整数和浮点数运算，math模块下的函数，返回值均为浮点数，除非有说明，math模块提供类似C语言标准定义的数学函数2022-08-08
本文主要介绍了Python中ini配置文件读写的实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-02-02
这篇文章主要给大家介绍了关于Python利器openpyxl之操作excel表格的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
每次在读或写文件时,获取脚本文件的绝对路径和相对路径时很容易搞混,下面这篇文章主要给大家介绍了关于python文件读取和导包的绝对路径、相对路径的相关资料,需要的朋友可以参考下2022-04-04
这篇文章主要介绍了介绍一款python类型检查工具pyright(推荐)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
最新评论