Python打印scrapy蜘蛛抓取树结构的方法
更新时间：2015年04月08日 10:14:15 作者：pythoner
这篇文章主要介绍了Python打印scrapy蜘蛛抓取树结构的方法,实例分析了打印scrapy蜘蛛抓取树结构的技巧,非常具有实用价值,需要的朋友可以参考下
本文实例讲述了Python打印scrapy蜘蛛抓取树结构的方法。分享给大家供大家参考。具体如下：
通过下面这段代码可以一目了然的知道scrapy的抓取页面结构，调用也非常简单
#!/usr/bin/env python
import fileinput, re
from collections import defaultdict
def print_urls(allurls, referer, indent=0):
urls = allurls[referer]
for url in urls:
print ' '*indent + referer
if url in allurls:
print_urls(allurls, url, indent+2)
def main():
log_re = re.compile(r'<GET (.*?)> \(referer: (.*?)\)')
allurls = defaultdict(list)
for l in fileinput.input():
m = log_re.search(l)
if m:
url, ref = m.groups()
allurls[ref] += [url]
print_urls(allurls, 'None')
main()
希望本文所述对大家的Python程序设计有所帮助。
相关文章
这篇文章主要介绍了解决pycharm下pyuic工具使用的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
下面小编就为大家带来一篇恢复百度云盘本地误删的文件脚本(简单方法)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-10-10
这篇文章主要介绍了Django添加feeds功能的示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-08-08
在Python中,充分利用函数参数的自动收集和灵活处理,是写出高效且易维护代码的关键之一,本文将深入研究Python函数参数的收集方式,感兴趣的小伙伴可以了解下2023-12-12
这篇文章主要介绍了Pyqt5设置返回键和跳转页面键的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
在python中关于类的定义可以分为两种:老式类&新式类,在新式类中有这么一种方法super( ),下面这篇文章主要给大家介绍了关于Python中super()的理解以及应用场景的相关资料,需要的朋友可以参考下2021-09-09
今天小编就为大家分享一篇python3写的简单本地文件上传服务器实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
这篇文章主要介绍了selenium+python自动化测试之鼠标和键盘事件，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-01-01
本篇文章主要介绍了python Crypto模块的安装与使用方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-12-12
这篇文章主要介绍了通过Python提取Word文件中的所有图片，并将其上传至阿里云OSS。文中的示例代码对学习Python有一定的帮助，快跟随小编一起学习一下吧2021-12-12
最新评论