Python3使用requests包抓取并保存网页源码的方法
更新时间：2016年03月15日 11:50:18 作者：小谈博客
这篇文章主要介绍了Python3使用requests包抓取并保存网页源码的方法,实例分析了Python3环境下requests模块的相关使用技巧,需要的朋友可以参考下
本文实例讲述了Python3使用requests包抓取并保存网页源码的方法。分享给大家供大家参考，具体如下：
使用Python 3的requests模块抓取网页源码并保存到文件示例：
import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
f.write(html.text)
这是一个基本的文件保存操作，但这里有几个值得注意的问题：
1.安装requests包，命令行输入pip install requests即可自动安装。很多人推荐使用requests，自带的urllib.request也可以抓取网页源码
2.open方法encoding参数设为utf-8，否则保存的文件会出现乱码。
3.如果直接在cmd中输出抓取的内容，会提示各种编码错误，所以保存到文件查看。
4.with open方法是更好的写法，可以自动操作完毕后释放资源。
另一个例子：
import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
for line in f:
ff.write(line)
ff.close()
这是演示读取一个txt文件，每次读取一行，并保存到另一个txt文件中的示例。
因为在命令行中打印每次读取一行的数据，中文会出现编码错误，所以每次读取一行并保存到另一个文件，这样来测试读取是否正常。（注意open的时候制定encoding编码方式）
转自：小谈博客 http://www.tantengvip.com/2015/05/requests-html/
希望本文所述对大家Python程序设计有所帮助。
您可能感兴趣的文章:
相关文章
这篇文章主要介绍了Python getattr()函数使用方法代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-08-08
这篇文章主要介绍了Python出现segfault错误解决方法,分析了系统日志提示segfault错误的原因与对应的解决方法,需要的朋友可以参考下2016-04-04
本次使用PyQt5开发了一款疫情信息快速查看工具，实现了多个数据源的查看，代码量不大，功能相当于浏览器，只是限定了一些特定网址，这篇文章主要介绍了Python写了个疫情信息快速查看工具,需要的朋友可以参考下2022-11-11
这篇文章主要为大家介绍了使用python绘制温度变化雷达图，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-10-10
这篇文章主要介绍了Python双向循环链表,结合实例形式分析了Python双向链表的定义、遍历、添加、删除、搜索等相关操作技巧,需要的朋友可以参考下2018-07-07
这篇文章主要介绍了selenium+超级鹰实现模拟登录12306，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
本文为大家罗列了Python开发的常用库和各个库的简要说明以及Python开发工具，包管理，环境管理等其它常用资源和Python学习资料2020-01-01
这篇文章主要介绍了如何使用wxPython和XML数据源创建一个具有按钮和Web视图的应用程序窗口，以便轻松管理和访问各种网页链接，感兴趣的可以了解下2023-08-08
这篇文章主要介绍了Python中将字典转换为XML以及相关的命名空间解析,包括使用字典创建XML等知识,需要的朋友可以参考下2015-10-10
Python社区提供了多种库来实现定时任务,下面这篇文章主要给大家介绍了关于python实现定时任务的多种方式,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2025-05-05
最新评论