WebMagic (Java爬虫框架) v0.6.0

  • 源码大小:6.89MB
  • 源码语言:简体中文
  • 源码类型:国产软件
  • 源码授权:免费软件
  • 更新时间:2016-12-19
  • 源码类别:java源码
  • 源码官网:
  • 网友评分:软件评分
  • 应用平台:Java
内容介绍热点排行相关内容下载地址↓
webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。
WebMagic(Java爬虫框架)更新日记
此次更新主要是一些依赖包的升级和bugfix。
#290 代理增加用户名密码认证 @hepan
#194 重构代理池部分代码,支持自定义代理池 @EdwardsBean
#314 修复低版本json-path依赖2.x的StringUtils导致报错的问题
#380 升级fastjson 到1.2.21
#301 修复JsonPath在注解模式不可用的问题 @Salon-sai
#377 修复监控模块在URL带有端口时会报错的问题
#400 修复FileCacheQueueScheduler的NullPointerException问题
#407 为PhantomJSDownloader添加新的构造函数,支持phantomjs自定义命令 @jsbd
#419 修复抓取https链接线程无法结束导致进程一直运行的问题 @cpaladin
#374 升级HttpClient到4.5.2,修复一些安全问题
#424 去掉Guava依赖
因为Guava不同版本兼容性不好,经常导致demo无法运行,所以我最后决定去掉了Guava的依赖。如果使用了BloomFilterDuplicateRemover的用户,需要手动依赖Guava包。
人气源码
下载地址
下载错误?【投诉报错】
相关内容
网友评论
下载声明

☉ 解压密码或分享码:www.jb51.net 就是本站主域名,希望大家看清楚,[ 分享码的获取方法 ]可以参考这篇文章
☉ 推荐使用 [ 迅雷 ] 下载,使用 [ WinRAR v5 ] 以上版本解压本站软件。
☉ 如果这个软件总是不能下载的请在评论中留言,我们会尽快修复,谢谢!
☉ 下载本站资源,如果服务器暂不能下载请过一段时间重试!或者多试试几个下载地址
☉ 如果遇到什么问题,请评论留言,我们定会解决问题,谢谢大家支持!
☉ 本站提供的一些商业软件是供学习研究之用,如用于商业用途,请购买正版。
☉ 本站提供的WebMagic (Java爬虫框架) v0.6.0资源来源互联网,版权归该下载资源的合法拥有者所有。