python使用自定义user-agent抓取网页的方法

更新时间：2015年04月15日 11:43:56 作者：令狐不聪

这篇文章主要介绍了python使用自定义user-agent抓取网页的方法,涉及Python使用urllib2模块操作网页的技巧,需要的朋友可以参考下

本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：

下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器

import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()

希望本文所述对大家的Python程序设计有所帮助。

您可能感兴趣的文章:

在pycharm中显示python画的图方法
今天小编就为大家分享一篇在pycharm中显示python画的图方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-08-08
Python稀疏矩阵scipy.sparse包使用详解
本文主要介绍了Python稀疏矩阵scipy.sparse包使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-02-02
python笔记（2）
python笔记，参考上一篇文章大家继续
2012-10-10
Python reflect单例模式反射各个函数
这篇文章主要介绍了Python reflect单例模式反射各个函数，文章围绕主题展开详细的内容介绍，具有一定的参考价值需要的小伙伴可以参考一下
2022-06-06
详解tf.device()指定tensorflow运行的GPU或CPU设备实现
这篇文章主要介绍了详解tf.device()指定tensorflow运行的GPU或CPU设备实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-02-02
用python与文件进行交互的方法
本篇文章主要介绍了用python与文件进行交互的方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-03-03
Python中openpyxl实现vlookup函数的实例
在本篇文章里小编给大家整理的是关于Python中openpyxl实现vlookup函数的实例内容，有兴趣的朋友们可以学习参考下。
2020-10-10
使用Python监控文件内容变化代码实例
在python中文件监控主要有两个库，一个是pyinotify，一个是watchdog。pyinotify依赖于Linux平台的inotify，今天我们就来探讨下pyinotify.
2018-06-06
Python Selenium中等待设置的实现
本文主要介绍了Python Selenium中等待设置的实现,过详实的示例代码,深入介绍了显式等待、隐式等待、自定义等待条件、多重等待条件、页面加载状态的等待、元素存在与可见性等待、Fluent等待以及异步JavaScript加载的等待,感兴趣的可以了解一下
2023-12-12
python之生产者消费者模型实现详解
这篇文章主要介绍了python之生产者消费者模型实现详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-07-07