python使用自定义user-agent抓取网页的方法
更新时间：2015年04月15日 11:43:56 作者：令狐不聪
这篇文章主要介绍了python使用自定义user-agent抓取网页的方法,涉及Python使用urllib2模块操作网页的技巧,需要的朋友可以参考下
本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：
下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
相关文章
这篇文章主要介绍了python 利用pyttsx3文字转语音过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
文章给大家分享了关于python爬虫的相关实例以及相关代码，有兴趣的朋友们参考下。2018-07-07
使用python将mdb数据库文件导入postgresql数据库示例
mdb格式文件可以通过mdbtools工具将内中包含的每张表导出到csv格式文件。由于access数据库和postgresQL数据库格式上会存在不通性，所以使用python的文件处理，将所得csv文件修改成正确、能识别的格式2014-02-02
Pytorch 实现focal_loss 多类别和二分类示例
今天小编就为大家分享一篇Pytorch 实现focal_loss 多类别和二分类示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
Python RuntimeError: thread.__init__() not called解决方法
这篇文章主要介绍了Python RuntimeError: thread.__init__() not called解决方法,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了pytorch创建tensor函数详情，文章围绕tensor函数的相关自来哦展开详细内容的介绍，需要的小伙伴可以参考一下，希望对你有所帮助2022-03-03
从零学python系列之新版本导入httplib模块报ImportError解决方案
在使用新版python打开旧版本代码的时候，可能会有些报错或者不兼容的情况出现，今天我们就来分析其中的一种情况2014-05-05
本文主要介绍了全面理解python命名空间字典,python的命名空间由字典实现,属性为键,对象为值,通过属性找到对象,下面就来具体了解一下,感兴趣的可以了解一下2023-12-12
这篇文章主要介绍了使用python实现三维图可视化，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-04-04
这篇文章主要介绍了Python中使用MELIAE分析程序内存占用实例,本文直接给出使用代码示例,需要的朋友可以参考下2015-02-02
最新评论