python3中编码获取网页的实例方法

更新时间：2020年11月16日 08:34:01 作者：PYCN

在本篇文章里小编给大家整理了一篇关于python3中编码获取网页的实例方法，有兴趣的朋友们可以学习下。

学了python后，之前一些我们常用的方法，也可以换一种思路用python中的知识来解决。相信操作出来后，能收获一大批小粉丝们。就像我们没学习编程之前，看到那种大神都是可望而不可即。今天我们就之前简单获取网页的这种操作用python中的编码来解决，大家可以自行体会一下两者的不同。

1. encoding和apparent_encoding

import scrapy
url="https://www.xxx.net/html/gndy/dyzz/index.html"
re=requests.get(url)
#获取响应头Content-Type的charset值，有的网站没有charset字段，就可能使用默认的 ISO-8859-1
print(re.encoding)
#apparent_encoding就是获取网站真实的编码
print(re.apparent_encoding)

2. 处理方案

直接用r.encoding = ‘xxx'

re.encoding='utf-8'

3. requests的text() 跟 content() 有什么区别

re.text返回的是处理过的Unicode型的数据，

而使用re.content返回的是bytes型的原始数据。

4. 爬虫拿到的HTML和浏览器中的源码不相同时

通过下载源码对比

import requests
url = 'https://www.xxx.net/html/gndy/dyzz/index.html'
r = requests.get(url)
r.encoding = r.apparent_encoding
html = r.text
with open('test.html','w',encoding='utf8') as f:
f.write(html)

到此这篇关于python3中编码获取网页的实例方法的文章就介绍到这了,更多相关python3中编码如何获取网页内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python之csv文件从MySQL数据库导入导出的方法
今天小编就为大家分享一篇Python之csv文件从MySQL数据库导入导出的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-06-06
如何用Python来搭建一个简单的推荐系统
这篇文章主要介绍了如何用Python来搭建一个简单的推荐系统,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-08-08
Python NLP开发之实现聊天机器人
这篇文章主要为大家介绍了Python如何实现聊天机器人，即使用自然语言处理 (NLP) 来帮助用户通过文本、图形或语音与 Web 服务或应用进行交互，感兴趣的可以了解一下
2023-05-05
python通过函数属性实现全局变量的方法
这篇文章主要介绍了python通过函数属性实现全局变量的方法,实例分析了Python中函数属性的相关使用技巧,需要的朋友可以参考下
2015-05-05
使用PyCharm官方中文语言包汉化PyCharm
这篇文章主要介绍了使用PyCharm官方中文语言包汉化PyCharm,需要的朋友可以参考下
2020-11-11
解密Python中的描述符（descriptor）
这篇文章主要介绍了解密Python中的描述符（descriptor）,本文详细讲解了描述符（descriptor）的作用、访问描述符、对描述符赋值、删除描述符等内容,需要的朋友可以参考下
2015-06-06
Python灰度变换中的分段线性函数专项分析实现
灰度变换是指根据某种目标条件按一定变换关系逐点改变源图像中每个像素灰度值的方法。目的是改善画质，使图像显示效果更加清晰。图像的灰度变换处理是图像增强处理技术中的一种非常基础、直接的空间域图像处理方法，也是图像数字化软件和图像显示软件的一个重要组成部分
2022-10-10
使用python脚本自动生成K8S-YAML的方法示例
这篇文章主要介绍了使用python脚本自动生成K8S-YAML的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-07-07
Python中的np.vstack()和np.hstack()详解
这篇文章主要介绍了np.vstack()和np.hstack(),本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2023-04-04
jupyter notebook中图片显示不出来的解决
这篇文章主要介绍了jupyter notebook中图片显示不出来的解决操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2021-03-03