python扫描proxy并获取可用代理ip的实例
今天咱写一个挺实用的工具，就是扫描并获取可用的proxy
首先呢，我先百度找了一个网站：http://www.xicidaili.com 作为例子
这个网站里公布了许多的国内外可用的代理的ip和端口
我们还是按照老样子进行分析，就先把所有国内的proxy扫一遍吧
点开国内部分进行审查发现，国内proxy和目录为以下url：
http://www.xicidaili.com/nn/x
这个x差不多两千多页，那么看来又要线程处理了。。。
老样子，我们尝试是否能直接以最简单的requests.get()获取内容
返回503，那么我们加一个简单的headers
返回200，成咯
好了我们先进行网页内容分析并获取想要的内容
我们发现，包含ip信息的内容在<tr>标签内，于是我们就能很方便的用bs进行获取标签内容
但是我们随之又发现，ip、端口、协议的内容分别在提取的<tr>标签的第2,3,6三个<td>标签内
于是我们开始尝试编写，一下为编写思路：
处理页面的时候，是先提取tr标签，再将tr标签中的td标签提取
所以运用了两次bs操作，并且第二次使用bs操作时需要进行str处理
因为我们获得tr之后，我们需要其中的2,3,6号的东西，
但是当我们用一个for循环输出的i并不能进行组的操作
所以我们干脆分别对每一个td的soup进行第二次操作之后直接提取2,3,6
提取之后，直接加上.string提取内容即可
r = requests.get(url = url,headers = headers)
soup = bs(r.content,"html.parser")
data = soup.find_all(name = 'tr',attrs = {'class':re.compile('|[^odd]')})
for i in data:
soup = bs(str(i),'html.parser')
data2 = soup.find_all(name = 'td')
ip = str(data2[1].string)
port = str(data2[2].string)
types = str(data2[5].string).lower()
proxy = {}
proxy[types] = '%s:%s'%(ip,port)
这样，我们每次循环都能生成对应的proxy字典，以便我们接下来验证ip可用性所使用
字典这儿有个注意点，我们有一个将types变为小写的操作，因为在get方法中的proxies中写入的协议名称应为小写，而网页抓取的是大写的内容，所以进行了一个大小写转换
那么验证ip可用性的思路呢
很简单，我们使用get，加上我们的代理，请求网站：
http://1212.ip138.com/ic.asp
这是一个神奇的网站，能返回你的外网ip是什么
url = 'http://1212.ip138.com/ic.asp' r = requests.get(url = url,proxies = proxy,timeout = 6)
这里我们需要加上timeout去除掉那些等待时间过长的代理，我设置为6秒
我们以一个ip进行尝试，并且分析返回的页面
返回的内容如下：
<html> <head> <meta xxxxxxxxxxxxxxxxxx> <title> 您的IP地址 </title> </head> <body style="margin:0px"><center>您的IP是：[xxx.xxx.xxx.xxx] 来自:xxxxxxxx</center></body></html>
那么我们只需要提取出网页内[]的内容即可
如果我们的代理可用，就会返回代理的ip
（这里会出现返回的地址还是我们本机的外网ip的情况，虽然我也不是很清楚，但是我把这种情况排除，应该还是代理不可用）
那么我们就能进行一个判断，如果返回的ip和proxy字典中的ip相同，则认为这个ip是可用的代理，并将其写入文件
我们的思路就是这样，最后进行queue和threading线程的处理即可
上代码：
#coding=utf-8
import requests
import re
from bs4 import BeautifulSoup as bs
import Queue
import threading
class proxyPick(threading.Thread):
def __init__(self,queue):
threading.Thread.__init__(self)
self._queue = queue
def run(self):
while not self._queue.empty():
url = self._queue.get()
proxy_spider(url)
def proxy_spider(url):
headers = {
.......
}
r = requests.get(url = url,headers = headers)
soup = bs(r.content,"html.parser")
data = soup.find_all(name = 'tr',attrs = {'class':re.compile('|[^odd]')})
for i in data:
soup = bs(str(i),'html.parser')
data2 = soup.find_all(name = 'td')
ip = str(data2[1].string)
port = str(data2[2].string)
types = str(data2[5].string).lower()
proxy = {}
proxy[types] = '%s:%s'%(ip,port)
try:
proxy_check(proxy,ip)
except Exception,e:
print e
pass
def proxy_check(proxy,ip):
url = 'http://1212.ip138.com/ic.asp'
r = requests.get(url = url,proxies = proxy,timeout = 6)
f = open('E:/url/ip_proxy.txt','a+')
soup = bs(r.text,'html.parser')
data = soup.find_all(name = 'center')
for i in data:
a = re.findall(r'\[(.*?)\]',i.string)
if a[0] == ip:
#print proxy
f.write('%s'%proxy+'\n')
print 'write down'
f.close()
#proxy_spider()
def main():
queue = Queue.Queue()
for i in range(1,2288):
queue.put('http://www.xicidaili.com/nn/'+str(i))
threads = []
thread_count = 10
for i in range(thread_count):
spider = proxyPick(queue)
threads.append(spider)
for i in threads:
i.start()
for i in threads:
i.join()
print "It's down,sir!"
if __name__ == '__main__':
main()
这样我们就能把网站上所提供的能用的代理ip全部写入文件ip_proxy.txt文件中了
以上这篇python扫描proxy并获取可用代理ip的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python获得两个数组交集、并集、差集的方法,实例分析了Python操作list集合的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了python tkinter事件绑定，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-03-03
类是面向对象语言中的标配,同样类的继承也是体现面向对象的重要特性,这里我们就来举例讲解Python面向对象编程中类的继承,需要的朋友可以参考下2016-06-06
许多人在数据科学、机器学习、web开发、脚本编写和自动化等领域中都会使用Python，它是一种十分流行的语言。本文将简要介绍30个简短的、且能在30秒内掌握的代码片段，感兴趣的朋友一起看看吧2019-10-10
本文内容是树莓派中python获取GY-85九轴模块信息的示例，这里使用Python的curses包开发cli窗口程序,用来实时刷新传感器的读数，下面看代码2013-12-12
Python3.6+Django2.0以上 xadmin站点的配置和使用教程图解
django自带的admin站点虽然功能强大，但是界面不是很好看。这篇文章主要介绍了Python3.6+Django2.0以上 xadmin站点的配置和使用 ，本文图文并茂给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-06-06
这篇文章主要介绍了django实现分页的方法,实例分析了django分页的技巧与Paginator对象的用法,需要的朋友可以参考下2015-05-05
详解Python模块化--模块(Modules)和包(Packages)
这篇文章主要介绍了使用Python的模块(Modules)和包(Packages)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-08-08
这篇文章主要为大家详细介绍了python hook监听事件的相关资料，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-10-10
字典作为Python的一个内置数据结构，和列表一样都是可变序列的，但是它是无序的，以键值对的方式存储数据。本文将详解一下Python中字典的高级使用，需要的可以参考一下2022-10-10
最新评论