Python爬虫基础之requestes模块
更新时间：2021年04月26日 09:59:57 作者：世界的隐喻
这篇文章主要介绍了Python爬虫基础之requestes模块,文中有非常详细的代码示例,对正在学习python爬虫的小伙伴们有非常好的帮助,需要的朋友可以参考下
一、爬虫的流程
开始学习爬虫，我们必须了解爬虫的流程框架。在我看来爬虫的流程大概就是三步，即不论我们爬取的是什么数据，总是可以把爬虫的流程归纳总结为这三步：
1.指定 url,可以简单的理解为指定要爬取的网址
2.发送请求。requests 模块的请求一般为 get 和 post
3.将爬取的数据存储
二、requests模块的导入
因为 requests 模块属于外部库，所以需要我们自己导入库
导入的步骤：
1.右键Windows图标
2.点击“运行”
3.输入“cmd”打开命令面板
4.输入“pip install requests”,等待下载完成
如图：
如果还是下载失败，我的建议是百度一下，你就知道（我也是边学边写，是在是水平有限）
欧克，既然导入成功后我们就简单的来爬取一下搜狗的首页吧！
三、完整代码
import requests
if __name__ == "__main__":
# 指定url
url = "https://www.sougou.com/"
# 发起请求
# get方法会返回一个响应数据
response = requests.get(url)
# 获取响应数据
page_txt = response.text # text返回一个字符串的响应数据
# print(page_txt)
# 存储
with open("./sougou.html", "w", encoding = "utf-8") as fp:
fp.write(page_txt)
print("爬取数据结束！！！")
我们打开保存的文件，如图
欧克，这就是最基本的爬取，如果学会了，那就试一试爬取 B站 的首页吧。
到此这篇关于Python爬虫基础之requestes模块的文章就介绍到这了,更多相关Python requestes模块内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Python检测和防御DOS攻击,首先讲解在CentOS上安装Python3，理解各个命令的含义，最后介绍了利用Python实现DDOS入侵检测，需要的朋友可以参考下2022-11-11
混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，下面这篇文章主要给大家介绍了关于matplotlib画混淆矩阵与正确率曲线的相关资料，需要的朋友可以参考下2021-06-06
这篇文章主要给大家介绍了关于Python字符串操作实战之如何提取子字符串的相关资料,字符串是Python中最常用的数据类型,大家应该都不陌生,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2023-06-06
文本数据是数据科学和自然语言处理领域的关键组成部分,本文将深入探讨Python中文本预处理的关键步骤,并提供丰富的示例代码,希望对大家有所帮助2023-12-12
今天小编就为大家分享一篇在PyCharm下打包*.py程序成.exe的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
为了快速地处理大量信息,科学家需要利用图像准备工具来完成人工智能和深度学习任务.在本文中,我将深入研究Python中最有用的图像处理库,这些库正在人工智能和深度学习任务中得到大力利用.我们开始吧,需要的朋友可以参考下2021-06-06
Python中super().__init__()测试以及理解
__init__()一般用来创建对象的实例变量,或一次性操作,super()用于调用父类的方法,可用来解决多重继承问题,下面这篇文章主要给大家介绍了关于Python中super().__init__()测试及理解的相关资料,需要的朋友可以参考下2021-12-12
这篇文章主要介绍了Python回调函数用法,以实例形式较为详细的分析了Python回调函数的定义、功能及相关使用技巧,需要的朋友可以参考下2015-07-07
Python Django 添加首页尾页上一页下一页代码实例
这篇文章主要介绍了Python Django 添加首页尾页上一页下一页代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
这篇文章主要介绍了Python中的进制转换详解,python内置函数进行进制转换的原理是将读入的一个字符串(python默认读入的都是字符串形式)转为10进制，然后再用相关函数进行其他进制转换,需要的朋友可以参考下2023-08-08
最新评论