python使用自定义user-agent抓取网页的方法
更新时间：2015年04月15日 11:43:56 作者：令狐不聪
这篇文章主要介绍了python使用自定义user-agent抓取网页的方法,涉及Python使用urllib2模块操作网页的技巧,需要的朋友可以参考下
本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：
下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
相关文章
这篇文章主要为大家介绍一个经典的异常检测算法：局部离群因子(Local Outlier Factor)，简称LOF算法。感兴趣的小伙伴可以跟随小编一起了解一下2022-03-03
肘部法则是经常使用的法则。很多时候，可以凭人工经验去找最优拐点，但有时需要自动寻找拐点。本文为大家介绍了Python实现曲线的肘部点检测的方法，希望对大家有所帮助2023-02-02
这篇文章主要介绍了python2中的中文乱码问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-06-06
这篇文章主要介绍了在Python中使用PIL模块处理图像的教程,PIL模块在Python编程中也是十分常用的模块,示例代码基于Python2.x版本,需要的朋友可以参考下2015-04-04
在CentOS 7中使用Python 3执行系统命令的详细教程
使用os.system()这个方法简单直接,但它不返回命令的输出,只返回命令的退出状态,如果你只需要知道命令是否成功执行,这个方法就足够了,这篇文章主要介绍了在CentOS 7中使用Python 3执行系统命令的详细教程,需要的朋友可以参考下2024-02-02
今天小编就为大家分享一篇pandas将numpy数组写入到csv的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了PyTorch一小时掌握之autograd机制篇，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-09-09
本文主要介绍了python实现希尔密码加密，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-08-08
CentOS中使用virtualenv搭建python3环境
virtualenv可以搭建虚拟且独立的python环境，可以使每个项目环境与其他项目独立开来，保持环境的干净，解决包冲突问题。下面我们来详细探讨下centos中如何来搭建。2015-06-06
在Web开发中,经常需要在用户与页面交互时执行一些操作,本文将介绍如何使用Python来监听HTML点击事件,有需要的小伙伴可以跟随小编一起了解下2024-04-04
最新评论