脚本之家 服务器常用软件
快捷导航
您的位置：主页 > 源码下载 > 其它源码 > Crawlab

Crawlab分布式爬虫管理平台 v0.5.1

Crawlab

  • 源码大小：685KB
  • 源码语言：简体中文
  • 源码类型：国产软件
  • 源码授权：开源软件
  • 源码类别：其它源码
  • 应用平台：Go
  • 更新时间：2020-10-01
  • 网友评分：
360通过 腾讯通过 金山通过

详情介绍

 Crawlab是一个基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP等多种编程语言以及多种爬虫框架。

Crawlab架构：

Crawlab的架构包括了一个主节点（Master Node）和多个工作节点（Worker Node），以及负责通信和数据储存的Redis和MongoDB数据库。

前端应用向主节点请求数据，主节点通过MongoDB和Redis来执行任务派发调度以及部署，工作节点收到任务之后，开始执行爬虫任务，并将任务结果储存到MongoDB。架构相对于v0.3.0之前的Celery版本有所精简，去除了不必要的节点监控模块Flower，节点监控主要由Redis完成。

主节点

主节点是整个Crawlab架构的核心，属于Crawlab的中控系统。主节点负责与前端应用进行通信，并通过Redis将爬虫任务派发给工作节点。同时，主节点会同步（部署）爬虫给工作节点，通过Redis和MongoDB的GridFS。

工作节点

工作节点的主要功能是执行爬虫任务和储存抓取数据与日志，并且通过Redis的PubSub跟主节点通信。通过增加工作节点数量，Crawlab可以做到横向扩展，不同的爬虫任务可以分配到不同的节点上执行。

MongoDB

MongoDB是Crawlab的运行数据库，储存有节点、爬虫、任务、定时任务等数据，另外GridFS文件储存方式是主节点储存爬虫文件并同步到工作节点的中间媒介。

Redis

Redis是非常受欢迎的Key-Value数据库，在Crawlab中主要实现节点间数据通信的功能。例如，节点会将自己信息通过HSET储存在Redis的nodes哈希列表中，主节点根据哈希列表来判断在线节点。

前端

前端是一个基于Vue-Element-Admin的单页应用。其中重用了很多Element-UI的控件来支持相应的展示。

下载地址

下载错误？【投诉报错】

Crawlab分布式爬虫管理平台 v0.5.1

      人气源码

      相关文章

      • FocusAny专注高效的AI工具条 v0.8.0

        FocusAny 是一个专注高效的AI工具条，可以使用 Alt / Option+空格 一键唤起，通过插件快速安装，可以扩展出非常多的功能...

      • LinkAndroid 全能手机连接助手 v0.6.0

        LinkAndroid是一个轻松连接安卓与电脑，畅享投屏、文件管理、应用管理、截屏、录屏、安装应用等一站式便捷体验，让工作更高效！欢迎需要的朋友下载使用...

      • PESCMS RENT房租管理系统 v1.0.0

        PESCMS RENT(下称PR)是一款基于GPLv2协议发布的开源房租管理系统，程序基于Golang + VUE3编写，欢迎需要的朋友下载使用...

      • ECHO个人博客主题网页模板 v1.0

        ECHO个人主题网页模板是一款适合个人图文写作与博客的主题。主题极简优雅，采用经典独特的三栏设计，保留线条和足够的留白，展现您文字、图片间的美...

      • 优雅草便民tools工具 v1.0.6

        优雅草便民工具--便民tools工具tools-前端已接数据，优雅草小工具-数据来自优雅草api赋能-优雅草便民工具是一款由成都市一颗优雅草科技有限公司打造的便民查询公益工具，欢...

      • 抖音热门短剧在线搜索引擎 v1.0

        一个非常哇塞的在线短剧搜索页面，接口已经对接好了，上传源码到服务器解压就能直接用，有能力的可以自己改接口自己写自己的接口...

      • 名扬银河企业建站源码 v2.0.2

        名扬银河企业建站系统，适用于无代码基础的新手，快速搭建企业网站，程序内置了多项实用功能及插件，能够便捷的对网站进行修改、调整、优化等方面进行操作...

      • AGECMS商业会云管理_电子名片 v1.0.1

        AGECMS商业会云管理电子名片是一款专为商务人士设计的全方位互动电子名片软件。它结合了现代商务交流的便捷性与高效性，通过数字化的方式，欢迎需要的朋友下载使用...

      • 帝国cms看雪时间轴博客趣静态模板 v1.0

        帝国cms看雪时间轴博客趣静态模板是一款女生唯美简洁个人博客静态页面模板，蓝色时间轴个人网页模板，下雪空间个人模板，喜欢的网友可以用开源程序帝国cms标签仿站建设...

      • Apache Superset数据探查与可视化平台 v3.1.2

        Superset可视化平台是Airbnb（知名在线房屋短租公司）开源的数据探查与可视化平台（曾用名 Panoramix、Caravel ），该工具在可视化、易用性和交互性上非常有特色...

      下载声明

      ☉ 解压密码：www.jb51.net 就是本站主域名，希望大家看清楚，[ 分享码的获取方法 ]可以参考这篇文章
      ☉ 推荐使用 [ 迅雷 ] 下载，使用 [ WinRAR v5 ] 以上版本解压本站软件。
      ☉ 如果这个软件总是不能下载的请在评论中留言,我们会尽快修复，谢谢!
      ☉ 下载本站资源，如果服务器暂不能下载请过一段时间重试!或者多试试几个下载地址
      ☉ 如果遇到什么问题，请评论留言，我们定会解决问题，谢谢大家支持!
      ☉ 本站提供的一些商业软件是供学习研究之用，如用于商业用途，请购买正版。
      ☉ 本站提供的Crawlab分布式爬虫管理平台 v0.5.1资源来源互联网，版权归该下载资源的合法拥有者所有。