Python基于scrapy采集数据时使用代理服务器的方法

更新时间：2015年04月16日 11:27:08 作者：pythoner

这篇文章主要介绍了Python基于scrapy采集数据时使用代理服务器的方法,涉及Python使用代理服务器的技巧,具有一定参考借鉴价值,需要的朋友可以参考下

本文实例讲述了Python基于scrapy采集数据时使用代理服务器的方法。分享给大家供大家参考。具体如下：

# To authenticate the proxy, 
#you must set the Proxy-Authorization header. 
#You *cannot* use the form http://user:pass@proxy:port 
#in request.meta['proxy']
import base64
proxy_ip_port = "123.456.789.10:8888"
proxy_user_pass = "awesome:dude"
request = Request(url, callback=self.parse)
# Set the location of the proxy
request.meta['proxy'] = "http://%s" % proxy_ip_port
# setup basic authentication for the proxy
encoded_user_pass=base64.encodestring(proxy_user_pass)
request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass

希望本文所述对大家的python程序设计有所帮助。

您可能感兴趣的文章:

Python功能键的读取方法
这篇文章主要介绍了Python功能键的读取方法,涉及Python键盘事件的相关操作技巧,需要的朋友可以参考下
2015-05-05
python利用xlsxwriter模块操作 Excel
这篇文章主要介绍了python利用xlsxwriter模块操作 Excel，帮助大家更好的利用python处理表格，提高办公效率，感兴趣的朋友可以了解下
2020-10-10
Python字符串操作实战之如何提取子字符串
这篇文章主要给大家介绍了关于Python字符串操作实战之如何提取子字符串的相关资料,字符串是Python中最常用的数据类型,大家应该都不陌生,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2023-06-06
灵活运用Python 枚举类来实现设计状态码信息
在python中枚举是一种类（Enum,IntEnum），存放在enum模块中。枚举类型可以给一组标签赋予一组特定的值，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-09-09
Python爬虫使用代理IP的实现
这篇文章主要介绍了Python爬虫使用代理IP的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-10-10
解决Jupyter Notebook使用parser.parse_args出现错误问题
这篇文章主要介绍了解决Jupyter Notebook使用parser.parse_args出现错误问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-04-04
浅析Python 引号、注释、字符串
这篇文章主要介绍了Python 引号、注释、字符串的相关知识，文中给大家提到了python中一对单引号,一对双引号,三个单双引号的区别和用法,需要的朋友可以参考下
2019-07-07
python+pyqt实现12306图片验证效果
这篇文章主要为大家详细介绍了python+pyqt实现12306图片验证效果，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2017-10-10
Python中Pygame模块的详细安装过程
pygame安装是为了开发小游戏,在下新手在经过许多尝试后,为大家避雷,给大家分享一个简单有效的方法,下面这篇文章主要给大家介绍了关于Python中Pygame的详细安装过程的相关资料,需要的朋友可以参考下
2022-09-09
django框架中ajax的使用及避开CSRF 验证的方式详解
这篇文章主要介绍了django框架中ajax的使用及避开CSRF 验证的方式,结合实例形式分析了Django框架ajax后台交互与排除验证csrf相关操作技巧,需要的朋友可以参考下
2019-12-12