python3.7简单的爬虫实例详解

更新时间：2019年07月08日 11:05:02 作者：pascal1000

这篇文章主要介绍了python3.7简单的爬虫实例代码，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下

python3.7简单的爬虫，具体代码如下所示：

#https://www.runoob.com/w3cnote/python-spider-intro.html

#Python 爬虫介绍

import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一种方法")
#获取状态码，200表示成功
print(response1.getcode())
#获取网页内容的长度
print(str(response1.read()))
print(len(response1.read()))
print("第二种方法")
request = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cookie = cookiejar.CookieJar()
#加入urllib2处理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)

code： https://github.com/pascal19821003/python
path： python/study/tutorial/pachong/1.py

总结

以上所述是小编给大家介绍的python3.7简单的爬虫实例详解,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！

您可能感兴趣的文章:

python人工智能tensorflow函数tf.assign使用方法
这篇文章主要为大家介绍了python人工智能tensorflow函数tf.assign使用方法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-05-05
python数据处理——对pandas进行数据变频或插值实例
这篇文章主要介绍了python数据处理——对pandas进行数据变频或插值实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-04-04
Python reflect单例模式反射各个函数
这篇文章主要介绍了Python reflect单例模式反射各个函数，文章围绕主题展开详细的内容介绍，具有一定的参考价值需要的小伙伴可以参考一下
2022-06-06
Python 入门学习之函数式编程
这篇文章主要介绍了Python 入门学习之函数式编程， Python 中的函数式编程技术进行了简单的入门介绍，下文详细内容需要的小伙伴可以参考一下
2022-05-05
Python单元测试unittest模块使用终极指南
本文将详细介绍unittest模块的各个方面，包括测试用例、断言、测试套件、setUp和tearDown方法、跳过和期望异常、测试覆盖率、持续集成等内容，我们将提供丰富的示例代码，以便读者更好地理解如何使用unittest进行单元测试
2023-12-12
浅谈PYTHON 关于文件的操作
这篇文章主要介绍了PYTHON 关于文件的操作，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-03-03
Python聚类算法之DBSACN实例分析
这篇文章主要介绍了Python聚类算法之DBSACN,结合实例形式详细分析了DBSACN算法的原理与具体实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下
2015-11-11
利用python实现短信和电话提醒功能的例子
今天小编就为大家分享一篇利用python实现短信和电话提醒功能的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-08-08
使用Python实现ELT统计多个服务器下所有数据表信息
这篇文章主要介绍了使用Python实现ELT统计多个服务器下所有数据表信息,ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,需要的朋友可以参考下
2023-07-07
Pandas中时间序列的处理大全
这篇文章主要给大家介绍了关于Pandas中时间序列处理的相关资料,pandas 是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的,需要的朋友可以参考下
2021-06-06