对python使用http、https代理的实例讲解

更新时间：2018年05月07日 09:45:43 作者：wanghong5211

今天小编就为大家分享一篇对python使用http、https代理的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在国内利用Python从Internet上爬取数据时，有些网站或API接口被限速或屏蔽，这时使用代理可以加速爬取过程，减少请求失败，Python程序使用代理的方法主要有以下几种：

（1）如果是在代码中使用一些网络库或爬虫框架进行数据爬取，一般这种框架都会支持设置代理，例如：

<span style="font-size:14px;">import urllib.request as urlreq 
# 设置https代理 
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'}) 
oper = urlreq.build_opener(ph) 
# 将代理安装到全局环境，这样所有请求都会自动使用代理 
urlreq.install_opener(oper) 
res = oper.open("https://www.google.com") 
print(res.read())</span>

<span style="font-size:14px;">import requests as req 
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>

（2）如果使用的库没有提供设置代理的接口，但是底层使用了urllib、requests等库，可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量，常用的网络库会自动识别这些环境变量，使用变量设置的代理发起请求，设置如下：

import os 
os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
os.environ['https_proxy'] = 'https://127.0.0.1:1080'

（3）如果上述两种方法都没有用，那么还可以使用一些可以监听、拦截和修改网络包的工具和库如（Fiddler、mitmproxy）来拦截http请求包并修改地址，达到使用代理的效果。

以上这篇对python使用http、https代理的实例讲解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python读取csv文件实例解析
这篇文章主要介绍了Python读取csv文件实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-12-12
python set内置函数的具体使用
这篇文章主要介绍了python set内置函数的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-07-07
使用Python将字符串转换为格式化的日期时间字符串
这篇文章主要介绍了使用Python将字符串转换为格式化的日期时间字符串,需要的朋友可以参考下
2019-09-09
python中列表添加元素的几种方式(+、append()、extend())
本文主要介绍了python中列表添加元素的几种方式(+、append()、extend())，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-08-08
如何用Pythony验证万物归一(考拉咨猜想)
考拉咨猜想简单的来说，就是你随便给我一个整数,我最后都是会通过固定的规则演变成"1",万物归一.今天我们就用那Python验证一下这个猜想
2021-06-06
python查询文件夹下excel的sheet名代码实例
这篇文章主要介绍了python查询文件夹下excel的sheet名方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-04-04
python中csv文件的若干读写方法小结
今天小编就为大家分享一篇python中csv文件的若干读写方法小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-07-07
python中argparse模块基础及使用步骤
argsparse是python的命令行解析的标准模块，内置于python，不需要安装。这个库可以让我们直接在命令行中就可以向程序中传入参数并让程序运行，接下来通过本文给大家介绍python argparse模块的相关知识，感兴趣的朋友一起看看吧
2022-06-06
matplotlib之pyplot模块之标题（title()和suptitle()）
这篇文章主要介绍了matplotlib之pyplot模块之标题（title()和suptitle()），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-02-02
python输入多行字符串的方法总结
在本篇文章里小编给大家分享的是关于python输入多行字符串的方法以及实例代码，需要的朋友们可以学习下。
2019-07-07