Python抓取Discuz!用户名脚本代码
更新时间：2013年12月30日 17:18:37 作者：
这篇文章主要介绍了Python抓取Discuz!用户名脚本代码，有需要的朋友可以参考一下
最近学习Python，于是就用Python写了一个抓取Discuz!用户名的脚本，代码很少但是很搓。思路很简单，就是正则匹配title然后提取用户名写入文本文档。程序以百度站长社区为例(一共有40多万用户)，挂在VPS上就没管了，虽然用了延时但是后来发现一共只抓取了50000多个用户名就被封了。。。
代码如下：
复制代码 代码如下:
# -*- coding: utf-8 -*-
# Author: 天一
# Blog: http://www.90blog.org
# Version: 1.0
# 功能: Python抓取百度站长平台用户名脚本
import urllib
import urllib2
import re
import time
def BiduSpider():
pattern = re.compile(r'<title>(.*)的个人资料 百度站长社区 </title>')
uid=1
thedatas = []
while uid <400000:
theUrl = "http://bbs.zhanzhang.baidu.com/home.php?mod=space&uid="+str(uid)
uid +=1
theResponse = urllib2.urlopen(theUrl)
thePage = theResponse.read()
#正则匹配用户名
theFindall = re.findall(pattern,thePage)
#等待0.5秒，以防频繁访问被禁止
time.sleep(0.5)
if theFindall :
#中文编码防止乱码输出
thedatas = theFindall[0].decode('utf-8').encode('gbk')
#写入txt文本文档
f = open('theUid.txt','a')
f.writelines(thedatas+'\n')
f.close()
if __name__ == '__main__':
BiduSpider()
最终成果如下：
相关文章
这篇文章主要介绍了使用python实现kmean算法,kmean 是无监督学习的一种算法，主要是用来进行聚类分析的，他会在数据集中算出几个点作为簇中心，求这些数据集与这些簇中心的距离，并将距离同一个簇中心距离最近的数据归为一类,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了python使用fabric实现远程操作和部署示例,需要的朋友可以参考下2014-03-03
数据增强作为前处理的关键步骤，在整个计算机视觉中有着具足轻重的地位。本文为大家总结了Python中数据处理的方法及实现，需要的可以参考一下2022-09-09
这篇文章主要介绍了python Timer 类使用介绍的相关资料，帮助大家更好的理解和使用python iupdatable包，感兴趣的朋友可以了解下2020-12-12
您可能听说过，带有 yield 的函数在 Python 中被称之为、generator（生成器），何谓 generator ？我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念2021-10-10
这篇文章主要介绍了Python如何使用PIL Image制作GIF图片,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
这篇文章主要介绍了pyqt5中动画的使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
python自动化测试之从命令行运行测试用例with verbosity
这篇文章主要介绍了python自动化测试之从命令行运行测试用例with verbosity,是一个较为经典的自动化测试实例,需要的朋友可以参考下2014-09-09
又到了小伙伴们最喜欢的python实战环节,文中对实现简易的学生选课系统作了非常详细的代码示例,对正在学习python的小伙伴们有很好的帮助,需要的朋友可以参考下2021-05-05
这篇文章主要为大家详细介绍了python+mysql实现学生信息查询系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-02-02
最新评论