学习python处理python编码问题
更新时间：2011年03月13日 13:42:36 作者：
概括从python开始就处理unicode字符,python源文件的编码与解码，我们写的python程序从产生到执行的过程如下
概括、从python1.6开始就可以处理unicode字符了。
一、几种常见的编码格式。
1.1、ascii，用1个字节表示。
1.2、UTF-8,用1个至三个字节表示，表示ascii码时只占用1个字节，ascii编码是UTF-8的子集。
1.3、UTF-16,用2个字节表示，在python中，unicode的含义就是UTF-16。
二、python源文件的编码与解码，我们写的python程序从产生到执行的过程如下：
编辑器---->源代码---->解释器---->输出结果
2.1、编辑器决定源代码的编码格式（在编辑器中设定）
2.2、也必须要解释器知道源代码的编码格式（很遗憾很难从编码的数据获知源文件的编码格式）
2.3、补充：在Windows下当用UltraEdit把源代码存成UTF-8时，会在文件中记录BOM标志（不必祥究）这样ActivePython解释器会自动识别源文件是UTF-8格式，但是如果用eclipse编辑源文件，虽然在编辑器中指定文件编码为UTF-8,但是因为没有记入BOM标志，所以必须在源文件开始处加上#coding=utf-8，用注释来提示解释器源文件的编码方式挺有意思。
2.4、举例：例如我们要向终端输出"我是中国人"。
#coding=utf-8 告诉python解释器用的是utf-8编码，我用的是eclipse+pydev
print "我是中国人" #源文件本身也要存成UTF-8编码
三、编码的转换，两种编码的转换要用UTF-16作为中转站。
举例：如果有一个文本文件jap.txt,里面有内容 "私は中国人です。"，编码格式是日文编码SHIFT_JIS，
还有一个文本文件chn.txt,内容是"中华人民共和国"，编码格式是中文编码GB2312。
我们如何把两个文件里的内容合并到一起并存储到utf.txt中并且不显示乱码呢，可以采用把两个文件的内容都转成UTF-8格式，因为UTF-8里包含了中文编码和日文编码。
#coding=utf-8
try:
JAP=open("e:/jap.txt","r")
CHN=open("e:/chn.txt","r")
UTF=open("e:/utf.txt","w")
jap_text=JAP.readline()
chn_text=CHN.readline()
#先decode成UTF-16,再encode成UTF-8
jap_text_utf8=jap_text.decode("SHIFT_JIS").encode("UTF-8") #不转成utf-8也可以
chn_text_utf8=chn_text.decode("GB2312").encode("UTF-8")#编码方式大小写都行utf-8也一样
UTF.write(jap_text_utf8)
UTF.write(chn_text_utf8)
except IOError,e:
print "open file error",e
四、Tk库支持ascii,UTF-16,UTF-8
#coding=utf-8
from Tkinter import *
try:
JAP=open("e:/jap.txt","r")
str1=JAP.readline()
except IOError,e:
print "open file error",e
root=Tk()
label1=Label(root,text=str1.decode("SHIFT_JIS")) #如果没有decode则显示乱码
label1.grid()
root.mainloop()
以上是学习python处理python编码的基本过程，希望对大家有帮助。
一、几种常见的编码格式。
1.1、ascii，用1个字节表示。
1.2、UTF-8,用1个至三个字节表示，表示ascii码时只占用1个字节，ascii编码是UTF-8的子集。
1.3、UTF-16,用2个字节表示，在python中，unicode的含义就是UTF-16。
二、python源文件的编码与解码，我们写的python程序从产生到执行的过程如下：
编辑器---->源代码---->解释器---->输出结果
2.1、编辑器决定源代码的编码格式（在编辑器中设定）
2.2、也必须要解释器知道源代码的编码格式（很遗憾很难从编码的数据获知源文件的编码格式）
2.3、补充：在Windows下当用UltraEdit把源代码存成UTF-8时，会在文件中记录BOM标志（不必祥究）这样ActivePython解释器会自动识别源文件是UTF-8格式，但是如果用eclipse编辑源文件，虽然在编辑器中指定文件编码为UTF-8,但是因为没有记入BOM标志，所以必须在源文件开始处加上#coding=utf-8，用注释来提示解释器源文件的编码方式挺有意思。
2.4、举例：例如我们要向终端输出"我是中国人"。
复制代码 代码如下:
#coding=utf-8 告诉python解释器用的是utf-8编码，我用的是eclipse+pydev
print "我是中国人" #源文件本身也要存成UTF-8编码
三、编码的转换，两种编码的转换要用UTF-16作为中转站。
举例：如果有一个文本文件jap.txt,里面有内容 "私は中国人です。"，编码格式是日文编码SHIFT_JIS，
还有一个文本文件chn.txt,内容是"中华人民共和国"，编码格式是中文编码GB2312。
我们如何把两个文件里的内容合并到一起并存储到utf.txt中并且不显示乱码呢，可以采用把两个文件的内容都转成UTF-8格式，因为UTF-8里包含了中文编码和日文编码。
复制代码 代码如下:
#coding=utf-8
try:
JAP=open("e:/jap.txt","r")
CHN=open("e:/chn.txt","r")
UTF=open("e:/utf.txt","w")
jap_text=JAP.readline()
chn_text=CHN.readline()
#先decode成UTF-16,再encode成UTF-8
jap_text_utf8=jap_text.decode("SHIFT_JIS").encode("UTF-8") #不转成utf-8也可以
chn_text_utf8=chn_text.decode("GB2312").encode("UTF-8")#编码方式大小写都行utf-8也一样
UTF.write(jap_text_utf8)
UTF.write(chn_text_utf8)
except IOError,e:
print "open file error",e
四、Tk库支持ascii,UTF-16,UTF-8
复制代码 代码如下:
#coding=utf-8
from Tkinter import *
try:
JAP=open("e:/jap.txt","r")
str1=JAP.readline()
except IOError,e:
print "open file error",e
root=Tk()
label1=Label(root,text=str1.decode("SHIFT_JIS")) #如果没有decode则显示乱码
label1.grid()
root.mainloop()
以上是学习python处理python编码的基本过程，希望对大家有帮助。
相关文章
这篇文章主要介绍了pytorch loss反向传播出错的解决方案，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-05-05
这篇文章主要介绍了python numpy数组复制使用实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-01-01
本文介绍Python-Selenium自动化爬虫,Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，Selenium 可以直接运行在浏览器上,它支持所有主流的浏览器,可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,xiamian neir 需要的朋友可以参考下2022-01-01
Matplotlib是Python中最受欢迎的数据可视化软件包之一，它是 Python常用的2D绘图库，同时它也提供了一部分3D绘图接口。本文将详细介绍如何通过Matplotlib绘制多子图，以及合并图例和调整子图间距，需要的可以参考一下2022-02-02
这篇文章主要介绍了使用Python计算两个不同列表的相似度,Python数据开发工作中的需求两个不同列表给出相似度，本文实现判断数字类型相似度和字符串类型相似度，非常实用,需要的朋友可以参考下2023-07-07
这篇文章主要介绍了Python subprocess模块常见用法,结合实例形式分析了subprocess模块进程操作相关使用技巧与注意事项,需要的朋友可以参考下2018-06-06
在刚学python时候，我们都知道字符串（String）、列表（list）和元组（tuple）序列化数据类型支持切片操作。本文我们将对熟悉的切片操作进行系统学习，感兴趣的可以了解一下2022-11-11
这篇文章主要为大家详细介绍了Python工程师面试必备25条知识点，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
大家好，本篇文章主要讲的是Python地图四色原理的遗传算法着色实现，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-02-02
这篇文章主要介绍了Python常遇到的错误和异常，在日常的学习Python过程中，由于本身的编程水平受限，时不时的给我抛出一个异常让我真的很难受；在学习的过程中发现Python中的错误分为语法错误和异常两种。下面来看看下面文章错误异常的实例,需要的朋友可以参考一下2021-11-11
最新评论