检测python爬虫时是否代理ip伪装成功的方法
更新时间：2019年07月12日 08:29:46 作者：千锋Python唐唐君
这篇文章主要介绍了检测python爬虫时是否代理ip伪装成功的方法以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。,需要的朋友可以参考下
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。
Python¶
requests
#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"
# 代理服务器
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理隧道验证信息
proxyUser = "16ZKBRLB"
proxyPass = "234076"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
要检测代理是否获取到，直接在配置代理后访http://httpbin.org/ip网站，获取到ip后再访问www.ip138.com就知道是否获取到了ip。
相关文章
在处理和分析PDF文档时,获取文本和图片在页面上的精确位置是一个重要的操作,通过确定这些元素的具体坐标,我们可以实现对PDF内容的更精细控制和理解,本文将介绍如何使用Python获取PDF文本和图片在页面上的位置坐标,需要的朋友可以参考下2024-12-12
这篇文章主要介绍了python numpy实现文件存取的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-05-05
Matplotlib中刻度是用于在绘图中表示数据大小的工具，通常以整数或小数表示，具体取决于坐标轴的类型和限制，下面就为大家介绍一下Matplotlib中刻度是具体设置与使用吧2023-07-07
这篇文章主要为大家介绍了Python 继承,具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2021-12-12
本篇提供了pygame播放视频的两个方案，第一个方案是网上找的现成的，第二个方案则是参考了opencv（主流方案）自己逆向思维做的，还未经过实际验证，感兴趣的朋友跟随小编一起看看吧2023-11-11
今天小编就为大家分享一篇Python 使用type来定义类的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
这篇文章主要给大家介绍了关于Python趣味入门教程之循环语句while的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
这篇文章主要为大家介绍了python pymysql peewee关于时区问题分析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-06-06
map()函数是Python中的一个内置函数，它的功能是将指定的函数，依次作用于可迭代对象的每个元素，并返回一个迭代器对象，这篇文章主要介绍了Python map函数()用法,需要的朋友可以参考下2023-07-07
本文对于PyTorch中的各种维度变换的函数进行总结,包括reshape()、view()、resize_()、transpose()、permute()、squeeze()、unsqeeze()、expand()、repeat()函数的介绍和对比,感兴趣的可以了解一下2024-02-02
最新评论