使用python验证代理ip是否可用的实现方法

 更新时间:2018年07月25日 10:48:09   作者:罗盘上的方向  
验证代理IP是否可用。原理是使用代理IP访问指定网站,如果返回状态为200,表示这个代理是可以使用的。这篇文章重点给大家介绍使用python验证代理ip是否可用的实现方法,感兴趣的朋友一起看看吧

在使用爬虫爬取网络数据时,如果长时间对一个网站进行抓取时可能会遇到IP被封的情况,这种情况可以使用代理更换ip来突破服务器封IP的限制。

随手在百度上搜索免费代理IP,可以得到一系列的网站,这里我们通过对西刺网站的抓取来举例。

通过编写一个爬虫来抓取网站上面的IP地址,端口,及类型,把这些信息存到本地。这里不做介绍。

验证代理IP是否可用。原理是使用代理IP访问指定网站,如果返回状态为200,表示这个代理是可以使用的。

# _*_ coding:utf-8 _*_
import urllib2
import re
class TestProxy(object):
  def __init__(self):
    self.ip = '106.46.136.64'
    self.port = '808'
    self.url = 'http://www.baidu.com'
    self.timeout = 3
    self.regex = re.compile(r'baidu.com')
    self.run()
  def run(self):
    self.linkWithProxy()
  def linkWithProxy(self):
    server = 'http://'+ self.ip + ':'+ self.port
    opener = urllib2.build_opener(urllib2.ProxyHandler({'http':server}))
    urllib2.install_opener(opener)
    try:
      response = urllib2.urlopen(self.url, timeout=self.timeout)
    except:
      print '%s connect failed' % server
      return
    else:
      try:
        str = response.read()
      except:
        print '%s connect failed' % server
        return
      if self.regex.search(str):
        print '%s connect success .......' % server
        print self.ip + ':' + self.port
if __name__ == '__main__':
  Tp = TestProxy()

也可以使用requests包来进行验证,要少写好多代码

import requests
try:
  requests.get('http://wenshu.court.gov.cn/', proxies={"http":"http://121.31.154.12:8123"})
except:
  print 'connect failed'
else:
  print 'success'

把验证通过的IP保存在redis里面,在IP被禁止的时候可以从redis中取出来使用。

受@齐俊杰的提醒,添加一种使用telnet来验证的方法:

import telnetlib
try:
  telnetlib.Telnet('127.0.0.1', port='80', timeout=20)
except:
  print 'connect failed'
else:
  print 'success'

总结

以上所述是小编给大家介绍的使用python验证代理ip是否可用,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

相关文章

  • 如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求

    如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求

    我们的网站经常被各种蜘蛛爬虫光顾,由于这些爬虫都有UserAgent,所以很多朋友使用UserAgent判断请求的发起者是否是搜索引擎爬虫的方式是很不准确的,接下来,通过本篇文章给大家介绍准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求的方法,需要的朋友可以参考下
    2015-10-10
  • 使用Python Flask实现简易文件上传功能

    使用Python Flask实现简易文件上传功能

    在平时工作中,文件上传是一项常见的需求,例如将应用异常时通过脚本生成的dump文件收集起来进行分析,但实现起来却可能相当复杂,在本文中,我们将探讨如何使用Flask实现文件上传功能,编写Dockerfile将应用程序通过docker部署,需要的朋友可以参考下
    2024-05-05
  • Python进行数据科学工作的简单入门教程

    Python进行数据科学工作的简单入门教程

    这篇文章主要介绍了Python进行数据科学工作的简单入门教程,主要针对Python发行版Anaconda进行说明,需要的朋友可以参考下
    2015-04-04
  • Python开发必须掌握的Pip使用全攻略

    Python开发必须掌握的Pip使用全攻略

    在这篇文章中,我们将深入探讨Python的主要包管理工具——Pip,包括Pip的基本概念、安装和配置、中国国内镜像源的使用等,需要的可以参考一下
    2023-07-07
  • python爬虫之Appium爬取手机App数据及模拟用户手势

    python爬虫之Appium爬取手机App数据及模拟用户手势

    这篇文章主要介绍了python爬虫怎样通过Appium爬取手机App数据及模拟用户手势,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-08-08
  • opencv python中cv.approxPolyDP函数详细解释

    opencv python中cv.approxPolyDP函数详细解释

    这篇文章主要给大家介绍了关于opencv python中cv.approxPolyDP函数详细解释的相关资料,OpenCV中的approxPolyDP()函数用于对形状进行逼近,以减少多边形的顶点数,可以用于对图像轮廓点进行多边形拟合,需要的朋友可以参考下
    2024-01-01
  • Python优秀开源项目Rich源码解析的流程分析

    Python优秀开源项目Rich源码解析的流程分析

    这篇文章主要介绍了Python优秀开源项目Rich源码解析,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-07-07
  • python pandas loc 布尔索引示例说明

    python pandas loc 布尔索引示例说明

    loc跟iloc的区别,首先loc是location的意思,和iloc中i的意思是指integer,所以它只接受整数作为参数,详情见下面
    2022-03-03
  • 如何解决Pycharm运行报错No Python interpreter selected问题

    如何解决Pycharm运行报错No Python interpreter selected

    这篇文章主要介绍了如何解决Pycharm运行时No Python interpreter selected问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-05-05
  • Python中的defaultdict与__missing__()使用介绍

    Python中的defaultdict与__missing__()使用介绍

    下面这篇文章主要给大家介绍了关于Python中defaultdict使用的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用python具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2018-02-02

最新评论