简单示例解析python爬虫IP的使用(小白篇)
更新时间：2023年06月26日 10:12:21 作者：小白学大数据
这篇文章主要为大家通过简单示例解析python爬虫IP的使用介绍，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
创建一个IP池并对其进行管理
Python爬虫常常会面临自己ip地址被封的情况,也许刚入行的小白就只能等ip解封之后再进行接下来的操作了,但是这样的方式却是最不能借鉴的，万一数据需求量大，那要等到猴年马月呢?所以今天我们就来探讨下如何创建一个IP池并对其进行管理。对刚入行的小白很有帮助,希望大家耐心看下去,需要的朋友可以参考下。
很多的网站都有反爬机制，其中就有这样一条，就是服务器会检查请求的user-agent参数值，如果检查的结果为python，那么服务器就知道这是爬虫，所以为了避免被服务器发现这是爬虫，我们需要添加随机user-agen。这样就可以避免服务器发现这是同一个user-agent发起多次请求。
还有一条就是网站会封IP，一般这样的情况就直接添加代理IP就可以，那么，从哪里获取IP呢？小编用的是亿牛云的这个网址，网址链接为：https://www.16yun.cn/，。
动态转发代理
很多小白会问怎么使用IP，这里介绍一种最简单方便的方式，那就是动态转发代理，我们接下来分享个示例供大家参考下：
#! -- encoding:utf-8 --
import requests
import random
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"
# 代理服务器(产品官网 www.16yun.cn)
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理验证信息
proxyUser = "username"
proxyPass = "password"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text验证
那我们在添加了代理IP之后怎么验证使用的ip是否可用？这里我们可以通过访问IP检测网址验证：
http://current.ip.16yun.cn:802，只要返回的是代理IP那么就证明代理使用成功了，我们可以直接去访问需要获取的数据网站了。
以上就是简单示例解析python爬虫IP的使用的详细内容，更多关于python爬虫IP使用的资料请关注脚本之家其它相关文章！
相关文章
Python实现的插入排序，冒泡排序，快速排序，选择排序算法示例
这篇文章主要介绍了Python实现的插入排序，冒泡排序，快速排序，选择排序算法,结合实例形式总结分析了Python插入排序，冒泡排序，快速排序，选择排序等算法的实现与使用技巧,需要的朋友可以参考下2019-05-05
Python中的“_args”和“__kwargs”用法详解
*args 和 **kwargs 主要⽤于函数定义，你可以将不定数量的参数传递给⼀个函数，这篇文章主要介绍了Python中的“_args”和“__kwargs”用法,需要的朋友可以参考下2023-01-01
这篇文章主要给大家介绍了关于python2 与 pyhton3的输入语句写法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2018-09-09
作为一个概念而言，正则表达式对于Python来说并不是独有的。但是，Python中的正则表达式在实际使用过程中还是有一些细小的差别。本文是一系列关于Python正则表达式文章的其中一部分。2016-12-12
这篇文章主要通过几个简单的示例，为大家详细介绍一下Python实现文件处理的方法，文中的示例代码讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下2023-02-02
Python中selenium_webdriver下拉框操作指南
selenium 虽然过了这么多年,但是到目前为止依然是比较流行的自动化框架了,下面这篇文章主要给大家介绍了关于Python中selenium_webdriver下拉框操作的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-01-01
这篇文章主要介绍了浅析python字符串前加r、f、u、l 的区别,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
这篇文章主要介绍了详解Python collections工具库的相关资料，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
这篇文章主要介绍了Tensorflow分类器项目自定义数据读入的实现，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-02-02
保留小数位是我们经常会碰到的问题,尤其是刷题过程中,下面这篇文章主要给大家介绍了关于python保留两位小数的3种方法,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-12-12
最新评论