wind-bell风铃虫轻量级爬虫工具 v2.3.0

轻量级爬虫工具

  • 源码大小:78KB
  • 源码语言:简体中文
  • 源码类型:国产软件
  • 源码授权:免费软件
  • 更新时间:2021-11-25 16:31:43
  • 源码类别:java源码
  • 源码官网:
  • 网友评分:源码评分
  • 应用平台:JAVA
78KB
360通过 腾讯通过 金山通过
内容介绍热点排行相关文章下载地址↓

 wind-bell风铃虫是一款轻量级的爬虫工具,似风铃一样灵敏,如蜘蛛一般敏捷,能感知任何细小的风吹草动,轻松抓取互联网上的内容。它是一款对目标服务器相对友好的蜘蛛程序,内置了二十余种常见或不常见的浏览器标识,能够自动处理cookie和网页来源信息,轻松绕过服务器限制,智能调整请求间隔时间,动态调整请求频率,防止对目标服务器造成干扰。此外,风铃虫还是一款对普通用户十分友好的工具,它提供的大量链接提取器和内容提取器让用户可以随心所欲地快速配置,甚至于只要提供一个开始请求地址就能配置出自己爬虫程序。同时,风铃虫也开放了许多自定义接口,让高级用户能够根据需要自定义爬虫功能。最后,风铃虫还天然支持分布式和集群功能,让你突破单机环境的束缚,释放出你的爬虫能力。可以说,风铃虫几乎能抓取目前所有的网站里的绝大部分内容。

【声明】 请勿将风铃虫应用到任何可能会违反法律规定和道德约束的工作中,请友善使用风铃虫,遵守蜘蛛协议,不要将风铃虫用于任何非法用途。如您选择使用风铃虫即代表您遵守此协议,作者不承担任何由于您违反此协议带来任何的法律风险和损失,一切后果由您承担。

风铃虫的原理极为简单,主要由 资源调度器、网页下载器、链接解析器、内容解析器、信息输出器 这极大部分组成。

他们的作用与功能如下所示:

资源调度器:负责风铃虫资源的调度过程,例如进行任务的储存、任务的调度和任务的管理

网页下载器:负责根据调度器调度的任务下载网页资源

链接解析器:负责解析网页下载器下载的网页内容,从网页内容中提取出所有符合要求的链接

内容解析器:负责对网页下载器下载的网页内容进行内容解析

信息输出器:输出内容解析器解析出来的数据

其中的链接解析器是由一系列的链接提取器组合而成,目前链接提取器主要是支持正则提取。

内容解析器由一系列的内容提取器组合而成,不同的内容提取器功能不同,适用于不同的解析场景,支持多个提取器的重复、循环等多种组合形式。

上述个组件均提供了自定义配置接口,使用户可以根据实际需要进行自定义配置,满足各种复杂乃至异常场景的要求。

风铃虫内置的内容提取器有:

原文提取器

中文提取器

常量提取器

CSS内容提取器

CSS文本提取器

邮箱提取器

数字提取器

正则提取器

字符删除提取器

字符替换提取器

字符串截取提取器

XPATH提取器

数组截取

wind-bell风铃虫轻量级爬虫工具 更新日志:

v2.3.0

1、更新底层依赖

2、优化项目代码注释

人气源码
下载地址
相关文章
网友评论
下载声明

☉ 解压密码:www.jb51.net 就是本站主域名,希望大家看清楚,[ 分享码的获取方法 ]可以参考这篇文章
☉ 推荐使用 [ 迅雷 ] 下载,使用 [ WinRAR v5 ] 以上版本解压本站软件。
☉ 如果这个软件总是不能下载的请在评论中留言,我们会尽快修复,谢谢!
☉ 下载本站资源,如果服务器暂不能下载请过一段时间重试!或者多试试几个下载地址
☉ 如果遇到什么问题,请评论留言,我们定会解决问题,谢谢大家支持!
☉ 本站提供的一些商业软件是供学习研究之用,如用于商业用途,请购买正版。
☉ 本站提供的wind-bell风铃虫轻量级爬虫工具 v2.3.0资源来源互联网,版权归该下载资源的合法拥有者所有。