Python实现将Unicode转换为ASCII

通过本文，我们将学习如何将 Unicode 编码为字节，了解系统编码的不同方法以及在 Python 中将 Unicode 转换为 ASCII。

在 Python 中将 Unicode 转换为 ASCII

Python 3 字符串的基本问题是由字符组成的； Python 中没有字符类型，但它们包含 Unicode 字符。

如果我们说 a = ‘abcd’ 并使用 len() 函数检查它的长度，那么我们得到 4 并且我们声明 s=‘שלום’ 意思是你好，这是希伯来语中的单词。 这些长度是相同的，这很好，因为两个变量都有四个字符。

>>a='abcd'
>>len(a)
4
>>s='שלום'
>>len(s)
4

事实上，幕后是不同的字节数与这里的问题无关，len() 测量的是字符数，而不是字节数，但当然，在幕后，UTF-8 Unicode 字符和 UTF-8 编码使用更多字节。

那么我们如何将字符串转换为我们需要的字节呢？ 好吧，我们可以使用 s.encode()，如果我们这样做，它会返回一个字节字符串，该字符串将是我们创建希伯来语单词 שלום 所需的八个字节。

>>s.encode()
b'\xd7\xa9\xd7\x9c\xd7\x95\xd7\x9d'
>>'abcd'.encode()
b'abcd'

现在我们将获取一个 Unicode 字符串并将其转换为字节字符串，但它比这更复杂，因为我们知道这个字符串是什么，并且我们想要取回不代表 Unicode 底层字节的字节。 我们想要取回不同编码系统的底层字节。

例如，我们使用 iso-8859-8，这是您可能听说过的一种在西欧广泛使用的编码类型，它允许我们在一个字节中包含特定语言所需的所有不同字符 ，所以如果我们需要将一个字符串转换为非 Unicode 的编码。

>>s.encode('iso-8859-8')
b'\xf9\xec\xe5\xed'

让我们看看如果我们有来自不同语言的东西会发生什么，就像我们说 s='北京' 就是北京，如果我们对其进行编码，那么我们会得到一个字节字符串。

我们看到这里有六个字节，因为每个汉字都由三个字节表示； 这是我们使用 UTF-8 进行的可变长度编码。

>>s='北京'
>>s.encode()
b'\xe5\x8c\x97\xe4\xba\xac'

现在我们想使用 iso-8859-8 对 北京 进行编码，当我们执行此操作时，我们会得到 UnicodeEncodeError，这意味着编码告诉我们您想要获取这些 Unicode 字符并将它们转换为 iso-8859 的字节 -8 不允许的编码。

s.encode('iso-8859-8')

如果我们用这个连接英语单词，它也会失败，因为任何地方我们可能有错误，它都会失败，但我们可以添加一个参数来帮助忽略错误。

>>s='I often go to 北京'
>>s.encode('iso-8859-8',errors='ignore')
b'I often go to '

如果您有一大堆文本并且可以丢失 Unicode 字符，则可以使用此选项。

让我们看一下默认情况下等于 strict 的 help(s.encode)，但它可以是一些不同的东西，所以如果我们使用替换值来错误，它并不真正知道如何替换，所以它 只是要使用问号。

help(s.encode)

>>s='I often go to 北京'
>>s.encode('iso-8859-8',errors='replace')
b'I often go to ??'

当我们使用 xmlcharrefreplace 时，我们会返回与这些 Unicode 字符有关的 XML 实体，因此如果您要将其粘贴到 XML 文档或 HTML 中，那么这将起作用。

>>s.encode('iso-8859-8',errors='xmlcharrefreplace')
b'I often go to 北京'

这取决于您的需求； 如果您将 Unicode 字符转换为字节，这是典型的情况，因为您将通过网络发送它们，或者您正在处理某种其他类型的编码系统。

如果您是初学者并且不想详细介绍，请使用以下命令安装名为 unidecode 的 Python 包。

它将直接将 Unicode 转换为 ASCII； 当您使用需要将 Unicode 转换为 ASCII 的应用程序时，它会很有帮助。

>>pip install unidecode
>>>from unidecode import unidecode
>>>unidecode(u'北京')
'Bei Jing'

到此这篇关于Python实现将Unicode转换为ASCII的文章就介绍到这了,更多相关Python Unicode转ASCII内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

最新评论