python中的字符串类型解读

# coding=utf-8
s1 = "字节串"
print(type(s1)) #输出　<type 'str'>，按照开头的encoding来编码成相应的字节
print(len(s1)) #输出9，因为按utf8编码，一个汉字占3个字节，3个字就占9个字节

s2 = u"万国码"
print(type(s2)) #输出　<type 'unicode'>，用unicode编码，2个字节1个字符
print(len(s2)) #输出3，unicode用字符个数来算长度，从这个角度上看，unicode才是真正意义上的字符串类型

# coding=utf-8
s = '中文字符'
s[-2:] == '字符‘ 
# 返回false，本以为相等但在python2中是不相等的
# 这里的”字符是用开头的encoding声明解释的，我开头用的是utf8，汉字占3个字节，所以“字符”占了6个字节），而s[-2:]取的是最后两个”双字节“，所以不相同。

s = u'中文字符'
s[-2:] == u'字符' 
# 加u强制转换成unicode
# 返回true，这也是为什么说unicode是真正意义上的字符串类型。因为使用的是unicode，”字符“占的是两个”双字节“，一个"双字节“一个字。

>>> "ABC".encode("utf-8")
b'ABC'
>>> "中文".encode("utf-8")
b'\xe4\xb8\xad\xe6\x96\x87'
>>> '中文'.encode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
# 纯英文的str可以用ASCII编码为bytes，内容是一样的，含有中文的str可以用UTF-8编码为bytes。
# 含有中文的str无法用ASCII编码，因为中文编码的范围超过了ASCII编码的范围，Python会报错
# 因为python3中字符串类型是Unicode编码的，所以不需要先decode成Unicode，直接encode成指定编码的bytes

>>> b'ABC'.decode("utf-8")
'ABC'
>>> b'\xe4\xb8\xad\xe6\x96\x87'.decode("utf-8")
'中文'
>>>

>>> len(b'ABC')
3
>>> len(b'\xe4\xb8\xad\xe6\x96\x87')
6
>>> len('中文'.encode('utf-8'))
6
# 1个中文字符经过UTF-8编码后通常会占用3个字节，而1个英文字符只占用1个字节

C:\Users\xxx>python3
Python 3.8.7 (tags/v3.8.7:6503f05, Dec 21 2020, 17:59:51) [MSC v.1928 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.

>>> ord("A")
65
>>> ord("中")
20013
>>> chr(65)
'A'
>>> chr(25991)
'文'
>>>

# encoding: utf-8
import chardet
s = "中文".encode("utf-8")
print(chardet.detect(s))