python读取中文txt文本的方法
更新时间：2018年04月12日 15:57:53 作者：jingyi130705008
下面小编就为大家分享一篇python读取中文txt文本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
对于python2.7
字符串在Python2.7内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码成unicode，再从unicode编码成另一种编码。
先用一些编辑器（如editplus ）看一下你的txt文件保存的是utf-8，还是gb2312或其他的。当你读行时可以这样
line = (file1.readline()).decode('utf-8').encode('gb2312')或
line = (file1.readline()).decode('gb2312').encode('utf-8')
注意：txt使用utf8编码的时候会默认在文件开头插入三个不可见字符。这个是windows用来判断txt编码是否为utf8的。所以如果你直接使用decode('utf-8')的话是得不到正确结果的。
必须先判断前三个字符是否是windows插入的那三个。这个python已经定义了一个常量了，可以直接和这个常量比较，如果一样就删除前三个字符然后再decode。
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
延伸：
因为decode的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常；
如果设置为ignore，则会忽略非法字符；
如果设置为replace，则会用?取代非法字符；
如果设置为xmlcharrefreplace，则使用XML的字符引用。
对于Python3
python3下比较简单,打开的时候指定encoding参数即可：open("txt.txt", encoding="gbk").read()。
以上这篇python读取中文txt文本的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Python编程快速上手——Excel到CSV的转换程序案例分析
这篇文章主要介绍了Python Excel到CSV的转换程序,结合具体案例形式分析了Python操作Excel到CSV转换的操作技巧与相关注意事项,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了pycharm解决关闭flask后依旧可以访问服务的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
Python是一门流行且强大的编程语言,具备灵活的异步编程能力,在并发编程中,Futures模块是Python提供的一个强大工具,下面我们就来看看它的概念和用法吧2023-08-08
这篇文章主要介绍了解决 jupyter notebook 回车换两行问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
这篇文章主要介绍了Pandas读写CSV文件的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-03-03
Python urlencode和unquote函数使用实例解析
这篇文章主要介绍了Python urlencode和unquote函数使用实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
这篇文章主要介绍了详解python中flask_caching库的用法,可以在一定的时间内直接返回结果而不是每次都需要计算或者从数据库中查找。flask_caching插件就是提供这种功能的神器,需要的朋友可以参考下2023-05-05
玩过电脑游戏的同学对于外挂肯定不陌生，但是你在用外挂的时候有没有想过如何做一个外挂呢?那我们就来看一下如何用python来制作一个外挂2018-01-01
Python 是 一种用着很爽的语言,Python也有着很多特性和技巧,可以帮助我们编写更高效、更优雅、更易维护的代码,下面小编为大家整理了一些常用的Python代码优化的简单小技巧,希望对大家有所帮助2023-09-09
SpaCy是一个非常强大的Python自然语言处理库,它包含了众多强大功能，如词性标注、命名实体识别、依赖关系解析等等,这篇文章的目标是帮助你了解SpaCy的基本功能和如何使用,需要的朋友可以参考下2023-07-07
最新评论