Python3使用requests包抓取并保存网页源码的方法
本文实例讲述了Python3使用requests包抓取并保存网页源码的方法。分享给大家供大家参考,具体如下:
使用Python 3的requests模块抓取网页源码并保存到文件示例:
import requests html = requests.get("http://www.baidu.com") with open('test.txt','w',encoding='utf-8') as f: f.write(html.text)
这是一个基本的文件保存操作,但这里有几个值得注意的问题:
1.安装requests包,命令行输入pip install requests即可自动安装。很多人推荐使用requests,自带的urllib.request也可以抓取网页源码
2.open方法encoding参数设为utf-8,否则保存的文件会出现乱码。
3.如果直接在cmd中输出抓取的内容,会提示各种编码错误,所以保存到文件查看。
4.with open方法是更好的写法,可以自动操作完毕后释放资源。
另一个例子:
import requests ff = open('testt.txt','w',encoding='utf-8') with open('test.txt',encoding="utf-8") as f: for line in f: ff.write(line) ff.close()
这是演示读取一个txt文件,每次读取一行,并保存到另一个txt文件中的示例。
因为在命令行中打印每次读取一行的数据,中文会出现编码错误,所以每次读取一行并保存到另一个文件,这样来测试读取是否正常。(注意open的时候制定encoding编码方式)
转自:小谈博客 http://www.tantengvip.com/2015/05/requests-html/
希望本文所述对大家Python程序设计有所帮助。
相关文章
Django rest framework jwt的使用方法详解
这篇文章主要介绍了Django rest framework jwt的使用方法详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08一篇教程教你学会Python进制转换(十进制转二进制、八进制、十六进制)
计算机中只有1和0,所以就导致很多时候需要进制转换,本文介绍了Python进制转换,十进制转二进制,十进制转八进制,十进制转十六进制,有兴趣的可以了解一下2021-05-05pytorch下的unsqueeze和squeeze的用法说明
这篇文章主要介绍了pytorch下的unsqueeze和squeeze的用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2021-02-02
最新评论