脚本之家 服务器常用软件
快捷导航
您的位置：主页 > 软件下载 > 网络软件 > 网络辅助 > 网络爬虫软件下载

小米范网站批量爬虫工具 1.4 中文免费版

网络爬虫软件下载

  • 软件大小：59.6MB
  • 软件语言：简体中文
  • 软件类型：国产软件
  • 软件授权：免费软件
  • 软件类别：网络辅助
  • 应用平台：Windows平台
  • 更新时间：2016-09-29
  • 网友评分：
360通过 腾讯通过 金山通过

详情介绍

小米范网站批量爬虫工具是一款网站辅助的小工具，它能针对网站进行快速批量的爬取，小米范网站批量爬虫工具能将爬取的URL进一步调用wvs、sqlmap、brutexss等工具进行检测，挺实用，也蛮简单，需要的朋友们可以下载试试吧！

使用方法

随便点击下面的任一个文件

出现如下界面时，点任意键运行。

打开软件界面后，点击新建任务，输入要检测的URL。


设置子域名白名单，属于白名单域名的URL则自动保留并进行抓取。
设置并发站点、并发线程等参数，点击开始即可。

工作流程
假设我们新建任务，放入100个URL作为爬虫的起始URL，那么具体的爬取过程如下：
1、针对这100个URL，按照是否同源进行合并，同源的URL则放入一个目标，并将这些URL作为这个源的起始URL。
2、针对每个目标进行爬取（默认并发5个目标），针对每个目标的起始URL采用浏览器点击抓包（默认每个目标最多开5个浏览器）+HTML解析的方式获取URL，浏览器点击在后台运行，没有界面，这里的浏览器点只是在点击后将发出去的请求URL记录，但并不真正发出去请求。
3、将前两步收集到的URL作为种子，进行传统的爬取，这里的爬取主要采用了webmagic框架，并对框架本身做了一点修改。另外每一个页面下载之前会进行爬取URL黑名单匹配，匹配到黑名单则跳过，下载到的每个页面提取出来的URL会进行子域名白名单匹配，匹配到白名单则会放入爬取队列。
针对爬到的URL可直接右键使用sqlmap、brutexss、panoptic、wvs进行安全检测，目前还在考虑再加入一些其他的检测工具。
此外也提供了目录扫描功能，在左侧树形结构的任意节点右键目录扫描会对当前选中节点所在的路径进行目录扫描。
  • 小米范网站批量爬虫工具 1.4 中文免费版

下载地址

下载错误？【投诉报错】

小米范网站批量爬虫工具 1.4 中文免费版

      人气软件

      相关文章

      下载声明

      ☉ 解压密码：www.jb51.net 就是本站主域名，希望大家看清楚，[ 分享码的获取方法 ]可以参考这篇文章
      ☉ 推荐使用 [ 迅雷 ] 下载，使用 [ WinRAR v5 ] 以上版本解压本站软件。
      ☉ 如果这个软件总是不能下载的请在评论中留言,我们会尽快修复，谢谢!
      ☉ 下载本站资源，如果服务器暂不能下载请过一段时间重试!或者多试试几个下载地址
      ☉ 如果遇到什么问题，请评论留言，我们定会解决问题，谢谢大家支持!
      ☉ 本站提供的一些商业软件是供学习研究之用，如用于商业用途，请购买正版。
      ☉ 本站提供的小米范网站批量爬虫工具 1.4 中文免费版资源来源互联网，版权归该下载资源的合法拥有者所有。