解决python异步框架aiohttp无法使用本地代理问题

 更新时间:2024年07月18日 09:06:54   作者:FOAF-lambda  
这篇文章主要介绍了解决python异步框架aiohttp无法使用本地代理问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

问题

  • aiohttp 在全局代理模式下无法访问墙外的网址,而requests可以
  • aiohttp不支持https代理,无论访问的网址是http还是https,使用代理是字符串proxy='http://127.0.0.1:10080'
import aiohttp
import asyncio
headers = {
        'User-Agent': "mozilla/5.0 (windows nt 6.1; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/69.0.3494.0 safari/537.36",
}
async def fetch(session,url):
    async with session.get(url=url,headers=headers,timeout=50,verify_ssl=False,proxy='http://127.0.0.1:10080') as resposne:
        print(resposne.status)
        return await resposne.text()
async def main():
    async with aiohttp.ClientSession() as session:
        url='https://www.google.com'
        html = await fetch(session,url)
        print(html)
loop = asyncio.get_event_loop()
loop.run_until_complete(main()) 
  • 当session.get里面不传入proxy时
  • 会根据ClientSession里面的一个参数叫trust_env是否为True来使用本地代理
  • 但源码中的使用条件是
elif self._trust_env:
    for scheme, proxy_info in proxies_from_env().items():
        if scheme == url.scheme:
            proxy = proxy_info.proxy
            proxy_auth = proxy_info.proxy_auth
            break
  • scheme == url.scheme 这个条件阻挡了请求https网址
  • aiohttp不支持https代理
  • 所以这是一个矛盾的地方

解决方式1

  • 修改源码
  • 对scheme == url.scheme这个条件进行修改
  • 并且在aiohttp.ClientSession(trust_env=True)传入trust_env=True
  • 这种方式不提倡

解决方式2

  • 获取本地代理
  • 然后在没有代理时在session.get使用本地代理
def get_local_proxy():
    
    from urllib.request import getproxies
    proxy = getproxies()['http']
    #proxies = {'http': 'http://127.0.0.1:10809', 'https': 'http://127.0.0.1:10809'}
    proxies = {'http': proxy , 'https': proxy}
    return proxies

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 通过Python实现自动填写调查问卷

    通过Python实现自动填写调查问卷

    这篇文章主要介绍了通过Python实现自动填写调查问卷的相关资料,需要的朋友可以参考下
    2017-09-09
  • Django中Model的使用方法教程

    Django中Model的使用方法教程

    最近学习了一下Django文档的model部分,通过学习的内容整理了这篇文章,下面这篇文章主要给大家介绍了关于Django中Model的使用方法的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2018-03-03
  • 如何在Win10系统使用Python3连接Hive

    如何在Win10系统使用Python3连接Hive

    这篇文章主要介绍了如何在Win10系统使用Python3连接Hive,帮助大家更好的利用python读取数据,进行探索、分析和挖掘工作。感兴趣的朋友可以了解下
    2020-10-10
  • python数据分析之线性回归选择基金

    python数据分析之线性回归选择基金

    这篇文章主要介绍了python数据分析之线性回归选择基金,文章基于前几篇的文章内容展开详细的基金的趋势分析,感兴趣的小伙伴可以参考一下
    2022-05-05
  • Python全自动实现Excel数据分列

    Python全自动实现Excel数据分列

    在 Excel 数据处理中,数据分列是高频刚需操作,本文将使用免费 Excel 处理库,通过 Python 实现全自动单列拆分多列,并对比 Excel 自带分列与 VBA 方案,帮你快速选出最合适的处理方式
    2026-04-04
  • Python3字符串encode与decode的讲解

    Python3字符串encode与decode的讲解

    今天小编就为大家分享一篇关于Python3字符串encode与decode的讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-04-04
  • python实现将html表格转换成CSV文件的方法

    python实现将html表格转换成CSV文件的方法

    这篇文章主要介绍了python实现将html表格转换成CSV文件的方法,涉及Python操作csv文件的相关技巧,需要的朋友可以参考下
    2015-06-06
  • 使用OpenCV实现道路车辆计数的使用方法

    使用OpenCV实现道路车辆计数的使用方法

    这篇文章主要介绍了使用OpenCV实现道路车辆计数的使用方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • Anaconda安装配置Jupyter最新版的图文步骤

    Anaconda安装配置Jupyter最新版的图文步骤

    本文详细介绍了在本地环境中使用Anaconda安装和配置Jupyter Notebook的过程,具有一定的参考价值,感兴趣的可以了解一下
    2025-03-03
  • Python中判断语句入门指南(if elif else语句)

    Python中判断语句入门指南(if elif else语句)

    if elif else语句是Python中的控制语句,用于根据条件执行不同的操作,下面这篇文章主要给大家介绍了关于Python中判断语句入门指南(if elif else语句)的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-05-05

最新评论