Python中的字符串操作和编码Unicode详解
本文主要给大家介绍了关于 Python中的字符串操作和编码Unicode的一些知识，下面话不多说，需要的朋友们下面来一起学习吧。
字符串类型
str：Unicode字符串。采用''或者r''构造的字符串均为str，单引号可以用双引号或者三引号来代替。无论用哪种方式进行制定，在Python内部存储时没有区别。
bytes：二进制字符串。由于jpg等其他格式的文件不能用str进行显示，所以才用bytes来表示，bytes的每个字节为一个0-255的数字。如果打印的时候，Python会把能够用ASCII表示的部分显示为ASCII，这样方便阅读。bytes几乎支持除了格式化以外的所有str的方法，甚至包括了re模块
bytearray() ：二进制可原地变动的字符串。
utf-8编码范围
| 范围 | 字节数 | 存储格式 |
| 0x0000~0x007F (0 ~ 127) | 1字节 | 0xxxxxxx |
| 0x0080~0x07FF(128 ~ 2047) | 2字节 | 110xxxxx 10xxxxxx |
| 0x0800~FFFF(2048 ~ 65535) | 3字节 | 1110xxxx 10xxxxxx 10xxxxxx |
| 0x10000~1FFFFFF(65536 ~ 2097152) | 4字节 | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
| 0x2000000~0x3FFFFFF | 5字节 | 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx |
| 0x4000000~0x7FFFFFFF) | 6字节 | 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx |
字节顺序标记BOM
BOM是byte order marker的缩写，
指定编码写入时的规则
Python在使用'utf-8'编码写入文件时不会写入BOM头，但是如果指定编码'utf-8-sig'则会迫使Python写入一个BOM头。
使用'utf-16-be'不会写入一个BOM头，但是采用'utf-16'则会写入一个BOM头。
>>> open('h.txt','w',encoding='utf-8-sig').write('aaa')
3
>>> open('h.txt','rb').read()
b'\xef\xbb\xbfaaa'
>>> open('h.txt','w',encoding='utf-16').write('bbb')
3
>>> open('h.txt','rb').read()
b'\xff\xfeb\x00b\x00b\x00'
>>> open('hh.txt','w',encoding='utf-16-be').write('ccc')
3
>>> open('hh.txt','rb').read()
b'\x00c\x00c\x00c'
>>> open('h.txt','w',encoding='utf-8').write('ddd')
3
>>> open('h.txt','rb').read()
b'ddd'
读取时的规则
如果指定了正确的编码，那么BOM会忽略，否则BOM会显示为乱码或者返回异常。
>>> open('h.txt','r').read()
'锘縟dd'
>>> open('h.txt','r',encoding='utf-8-sig').read()
'ddd'
编码与解码
- chr和ord
>>> ord('中') #20013
>>> chr(20013) #'中'
- 把Unicode硬编码进字符串中。
'\xhh'：用2位十六进制来表示一个字符
'\uhhhh'：用4位十六进制来表示一个字符：
'\Uhhhhhhhh'：用8位十六进制来表示一个字符
>>> s = 'py\x74h\u4e2don' #'pyth中on'
str和bytes， bytearray进行转换
str.encode(encoding='utf-8')
bytes(s,encoding='utf-8')
bytes.decode(encoding='utf-8')
str(B, encoding='utf-8')
bytearray(string, encoding='utf-8')
bytearray(bytes)
文档编码声明
Python默认使用utf-8编码。
# -*- coding: latin-1 -*- ：表示声明文档为latin-1编码。
帮助函数
sys.platform #'win32' sys.getdefaultencoding() # 'utf-8' sys.byteorder #'little' s.isalnum() #s表示字符串 s.isalpha() s.isdecimal s.isdigit() s.isnumeric() s.isprintable() s.isspace() s.isidentifier() #如果字符串可以用作变量名，那么返回True s.islower() s.isupper() s.istitle()
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。
相关文章
这篇文章主要介绍了Python K最近邻从原理到实现的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
平常我都是直接执行 pip install 安装的第三方库，很多教程也是这么介绍的，一直以来我都认为这是标准的、正确的安装 Python 第三方库的姿势。下面小编给大家分享一篇教程，一起看看吧2019-11-11
这篇文章主要介绍了举例详解Python中threading模块的几个常用方法,threading模块用来创建和操作线程,是Python学习当中的重要知识,需要的朋友可以参考下2015-06-06
这篇文章主要介绍了Python生成器generator原理及用法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
Python 中pandas索引切片读取数据缺失数据处理问题
pandas是一个Python软件包，提供快速，灵活和富于表现力的数据结构，旨在使使用“关系”或“标记”数据既简单又直观。这篇文章主要介绍了pandas索引切片读取数据缺失数据处理,需要的朋友可以参考下2019-10-10
今天小编就为大家分享一篇在python中实现将一张图片剪切成四份的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
基于Django websocket实现视频画面的实时传输功能(最新推荐)
Django Channels 是一个用于在 Django框架中实现实时、异步通信的扩展库，本文给大家介绍基于Django websocket实现视频画面的实时传输案例,本案例是基于B/S架构的视频监控画面的实时传输，使用django作为服务端的开发框架，需要的朋友可以参考下2023-06-06
Python使用melt和pivot实现DataFrame格式转换
在数据处理与分析中,经常遇到数据需要进行格式转换的情况,例如将数据从宽表格式转换为长表格式,或将数据重新分组汇总,Pandas提供了丰富的reshape操作,尤其是melt和pivot这两个函数,使得DataFrame可以在宽表与长表之间高效转换,本文介绍的非常详细,需要的朋友可以参考下2025-01-01
这篇文章主要为大家详细介绍了Python3的高阶函数，主要介绍什么是高阶函数，高阶函数的用法以及几个常见的内置的高阶函数，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-01-01
本文主要介绍了使用anaconda-clean依赖包来完全清除Anaconda的附带文件,具有一定的参考价值,感兴趣的可以了解一下2025-03-03
最新评论