当前位置:主页 > 源码下载 > 软件开发 > java源码 > WebMagic (Java爬虫框架) v0.6.0

WebMagic (Java爬虫框架) v0.6.0

  • 源码大小:6.89MB
  • 源码语言:简体中文
  • 源码类型:国产软件
  • 源码授权:免费软件
  • 更新时间:2016-12-19
  • 源码类别:java源码
  • 源码官网:
  • 应用平台:Java
源码评分
网友评分: 3
内容介绍热点排行下载地址相关内容
webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。
WebMagic(Java爬虫框架)更新日记
此次更新主要是一些依赖包的升级和bugfix。
#290 代理增加用户名密码认证 @hepan
#194 重构代理池部分代码,支持自定义代理池 @EdwardsBean
#314 修复低版本json-path依赖2.x的StringUtils导致报错的问题
#380 升级fastjson 到1.2.21
#301 修复JsonPath在注解模式不可用的问题 @Salon-sai
#377 修复监控模块在URL带有端口时会报错的问题
#400 修复FileCacheQueueScheduler的NullPointerException问题
#407 为PhantomJSDownloader添加新的构造函数,支持phantomjs自定义命令 @jsbd
#419 修复抓取https链接线程无法结束导致进程一直运行的问题 @cpaladin
#374 升级HttpClient到4.5.2,修复一些安全问题
#424 去掉Guava依赖
因为Guava不同版本兼容性不好,经常导致demo无法运行,所以我最后决定去掉了Guava的依赖。如果使用了BloomFilterDuplicateRemover的用户,需要手动依赖Guava包。
截图:

标签:WebMagic   爬虫框架  

人气源码

下载地址

相关内容

网友评论

下载声明

☉解压密码:www.jb51.net 就是本站主域名,希望大家看清楚。
☉推荐使用 [ 迅雷 ] 下载,使用 [ WinRAR v3.93 ] 以上版本解压本站源码。
☉如果这个源码总是不能下载的请在评论中留言,我们会尽快修复,谢谢!
☉下载本站资源,如果服务器暂不能下载请过一段时间重试!或者多试试几个下载地址
☉如果遇到什么问题,请评论留言,我们定会解决问题,谢谢大家支持!
☉本站提供的一些商业源码是供学习研究之用,如用于商业用途,请购买正版。
☉本站提供的WebMagic (Java爬虫框架) v0.6.0资源来源互联网,版权归该下载资源的合法拥有者所有。

关于我们 - 广告合作 - 联系我们 - 免责声明 - 网站地图 - 投诉建议 - 在线投稿

CopyRight © 2006-2017 脚本之家 JB51.Net , All Rights Reserved

苏ICP备14036222号