python3里gbk编码的问题解决

 更新时间:2022年08月19日 09:37:14   作者:哈哈的狮子  
本文主要介绍了python3里gbk编码的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

在python3有关字符串的处理当中,经常会遇到

'gbk' codec can't encode character '\xa0'这个问题,原因是在str里面存在着不能正确编码的字符。

通过以下方法即可解决。

import requests
from bs4 import BeautifulSoup
url = "http://jecvay.com/2015/03/learning-compilers-1.html"
url = url.encode('gbk','ignore').decode('utf-8') //忽略
response = requests.get(url)
print(response)
soup = BeautifulSoup(response.text)

print(soup.body.text)

以上方法在必须要记录数据的时候会出现数据不准确问题

python3 字符串无法将 gbk 完全转换为utf8

对于必须存储的情况,将gbk -> 十六进制字节码文本 保存,需要的时候在转换为gbk以便显示。

def string_hex(data):
    lin = ['%02X' % i for i in data]
    return "".join(lin).upper()
 
 
def __ToUTF8(tuple):
    lists = []
    for itme in tuple:
        tmp = itme
        if type(itme) == bytes:
            try:
                tmp = itme.decode('gbk')
            except UnicodeDecodeError:
                tmp = string_hex(itme)
        lists.append(tmp)
    return lists
def readFileAll(file):
    with open(file, 'rb') as f:
        data = f.read()
    return data
s = readFileAll('gkb.txt') //gbk 字符串文件
sx = string_hex(s)//转化为16进制文本
print(sx)

 到此这篇关于python3里gbk编码的问题解决的文章就介绍到这了,更多相关python3 gbk编码内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python之用户输入的实例

    Python之用户输入的实例

    今天小编就为大家分享一篇Python之用户输入的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • python数据结构之图深度优先和广度优先实例详解

    python数据结构之图深度优先和广度优先实例详解

    这篇文章主要介绍了python数据结构之图深度优先和广度优先,较为详细的分析了深度优先和广度优先算法的概念与原理,并给出了完整实现算法,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-07-07
  • python opencv鼠标画矩形框之cv2.rectangle()函数

    python opencv鼠标画矩形框之cv2.rectangle()函数

    鼠标操作属于用户接口设计,以前一直使用Qt来做,但是如果只需要简单的鼠标,键盘操作,直接调用opencv库的函数也未尝不可,下面这篇文章主要给大家介绍了关于python opencv鼠标画矩形框cv2.rectangle()函数的相关资料,需要的朋友可以参考下
    2021-10-10
  • django使用LDAP验证的方法示例

    django使用LDAP验证的方法示例

    这篇文章主要介绍了django使用LDAP验证的方法示例,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-12-12
  • python中global与nonlocal比较

    python中global与nonlocal比较

    这篇文章主要介绍了python中global与nonlocal比较,global关键字用来在函数或其他局部作用域中使用全局变量,nonlocal关键字用来在函数或其他作用域中使用外层(非全局)变量,需要的朋友可以参考下
    2014-11-11
  • Python中pandas库sort_values()方法的使用

    Python中pandas库sort_values()方法的使用

    最后去看了有关于 sort_values 的文档,成功解决先把单词出现频次由高往低依次排序,再把频次相同的情况下的单词按照 MD5 值排序这个问题,下面通过本文讲解下Python中pandas库sort_values()方法的使用,感兴趣的朋友一起看看吧
    2023-07-07
  • Python实现的朴素贝叶斯分类器示例

    Python实现的朴素贝叶斯分类器示例

    这篇文章主要介绍了Python实现的朴素贝叶斯分类器,结合具体实例形式分析了基于Python实现的朴素贝叶斯分类器相关定义与使用技巧,需要的朋友可以参考下
    2018-01-01
  • pytest官方文档解读之安装和使用插件的方法

    pytest官方文档解读之安装和使用插件的方法

    这篇文章主要介绍了pytest官方文档解读之安装和使用插件的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-09-09
  • Python pandas入门系列之众数和分位数

    Python pandas入门系列之众数和分位数

    分位数(Quantile),也称分位点,是指将一个随机变量的概率分布范围分为几个等份的数值点,分析其数据变量的趋势,而众数(Mode)是代表数据的一般水平,这篇文章主要给大家介绍了Python pandas系列之众数和分位数的相关资料,需要的朋友可以参考下
    2021-08-08
  • Python实现自动驾驶训练模型

    Python实现自动驾驶训练模型

    这篇文章主要为大家介绍了Python实现自动驾驶训练模型,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06

最新评论