python3.7简单的爬虫实例详解

 更新时间:2019年07月08日 11:05:02   作者:pascal1000  
这篇文章主要介绍了python3.7简单的爬虫实例代码,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下

python3.7简单的爬虫,具体代码如下所示:

#https://www.runoob.com/w3cnote/python-spider-intro.html

#Python 爬虫介绍

import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一种方法")
#获取状态码,200表示成功
print(response1.getcode())
#获取网页内容的长度
print(str(response1.read()))
print(len(response1.read()))
print("第二种方法")
request = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cookie = cookiejar.CookieJar()
#加入urllib2处理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)
code: https://github.com/pascal19821003/python
path: python/study/tutorial/pachong/1.py

总结

以上所述是小编给大家介绍的python3.7简单的爬虫实例详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

相关文章

  • python人工智能tensorflow函数tf.assign使用方法

    python人工智能tensorflow函数tf.assign使用方法

    这篇文章主要为大家介绍了python人工智能tensorflow函数tf.assign使用方法,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-05-05
  • python数据处理——对pandas进行数据变频或插值实例

    python数据处理——对pandas进行数据变频或插值实例

    这篇文章主要介绍了python数据处理——对pandas进行数据变频或插值实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • Python reflect单例模式反射各个函数

    Python reflect单例模式反射各个函数

    这篇文章主要介绍了Python reflect单例模式反射各个函数,文章围绕主题展开详细的内容介绍,具有一定的参考价值需要的小伙伴可以参考一下
    2022-06-06
  • ​​​​​​​Python 入门学习之函数式编程

    ​​​​​​​Python 入门学习之函数式编程

    这篇文章主要介绍了​​​​​​​Python 入门学习之函数式编程, Python 中的函数式编程技术进行了简单的入门介绍,下文详细内容需要的小伙伴可以参考一下
    2022-05-05
  • Python单元测试unittest模块使用终极指南

    Python单元测试unittest模块使用终极指南

    本文将详细介绍unittest模块的各个方面,包括测试用例、断言、测试套件、setUp和tearDown方法、跳过和期望异常、测试覆盖率、持续集成等内容,我们将提供丰富的示例代码,以便读者更好地理解如何使用unittest进行单元测试
    2023-12-12
  • 浅谈PYTHON 关于文件的操作

    浅谈PYTHON 关于文件的操作

    这篇文章主要介绍了PYTHON 关于文件的操作,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-03-03
  • Python聚类算法之DBSACN实例分析

    Python聚类算法之DBSACN实例分析

    这篇文章主要介绍了Python聚类算法之DBSACN,结合实例形式详细分析了DBSACN算法的原理与具体实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-11-11
  • 利用python实现短信和电话提醒功能的例子

    利用python实现短信和电话提醒功能的例子

    今天小编就为大家分享一篇利用python实现短信和电话提醒功能的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • 使用Python实现ELT统计多个服务器下所有数据表信息

    使用Python实现ELT统计多个服务器下所有数据表信息

    这篇文章主要介绍了使用Python实现ELT统计多个服务器下所有数据表信息,ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,需要的朋友可以参考下
    2023-07-07
  • Pandas中时间序列的处理大全

    Pandas中时间序列的处理大全

    这篇文章主要给大家介绍了关于Pandas中时间序列处理的相关资料,pandas 是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的,需要的朋友可以参考下
    2021-06-06

最新评论