DataBand(数据帮) v1.0

DataBand

  • 源码大小:13.2MB
  • 源码语言:简体中文
  • 源码类型:国产软件
  • 源码授权:免费软件
  • 更新时间:2022-11-21 16:39:16
  • 源码类别:java源码
  • 源码官网:
  • 网友评分:源码评分
  • 应用平台:Java
13.2MB
360通过 腾讯通过 金山通过
内容介绍热点排行相关文章下载地址↓

DataBand(数据帮),快速采集清洗,任务管理,实时流和批处理数据分析,数据可视化展现,快速数据模板开发,ETL工具集、数据科学等。是轻量级的一站式的大数据平台。 我们致力于通过提供智能应用程序、数据分析和咨询服务来提供最优解决方案。

技术栈

存储

分布式存储:HDFS、HBase

行式关系存储:MySQL、Oracle

列式存储:ClickHouse

列族存储:HBase、Cassandra

文档库:ElasticSearch、MongoDB

 

计算

计算引擎:Presto、Hive

流处理:Storm、Flink

 

集成:

Flume

Filebeat

Logstash

前端技术栈

Vue

Element UI

后端技术栈

Spring Boot

Spring Cloud

MyBatis

工程说明

大数据模拟数据源生成数据(数据准备工程)

数据源:

databand-mock-api:接口模拟工具,模拟业务系统api;

databand-mock-log:日志模拟工具,手动产生大量的日志数据供调试测试,比如Syslog、log、CSV生成、Json、MySQL注入、RPC写、NetCat等;

databand-mock-mq:日志模拟工具,通过MQ写产生大量的日志数据供调试测试,比如RabbitMQ写、Kafka写等;

databand-mock-hadoop:大数据日志模拟工具,hdfs和mapreduce相关;

数据采集清洗(采集清洗工程)

databand-etl-mysql_ods:采集清洗mysql数据比如MySQL到ods临时中间库(包括Redis、Kafka等);

databand-etl-mysql_olap:采集清洗mysql数据到OLAP数据仓库;

databand-etl-mysql_hadoop:采集清洗mysql数据到Hadoop分布式存储;

databand-etl-logfile_ods:采集清洗半结构化日志文件,比如json、xml、log、csv文件数据到ods临时中间库;

databand-etl-logfile_olap:采集清洗半结构化日志文件数据到OLAP数据仓库;

databand-etl-logfile_hadoop:采集清洗日志文件数据到Hadoop分布式存储;

databand-etl-mq_ods:通过MQ消费采集数据,入ods库;

databand-etl-mq_olap:通过MQ消费采集数据,入OLAP库;

databand-etl-mq_hadoop:通过MQ消费采集数据,入Hadoop;- databand-ml:数据科学工程;

 

数据分析作业(定时作业调度工程)

databand-job-springboot:定时任务作业调度服务,支持shell,hive,python,spark-sql,java jar任务。

databand-streamjob-springboot:流数据作业,支持kafka数据消费至clickhouse、mysql、es等。

数据分析门户(后端管理和前端展示工程)

databand-admin-ui:前后端分离的纯前端UI工程,数据展现(目前未开发);

databand-admin-thymeleaf:后端权限、关系、站点配置管理(前后端不分离,正在开发的版本),基于若依框架;

databand-admin-api:数据api服务;

databand-admin-tools:BI工具集;

实时流数据

databand-rt-flinkstreaming:flink实时数据流处理。主要是PV、UV,涉及窗口、聚合、延时、水印、统计、checkpoint等基本用法;

databand-rt-redis:实时处理的一些缓存存储;

databand-rt-sparkstreaming:spark实时数据流处理,和flink的功能近似,主要structured streaming;

人气源码
下载地址
相关文章
网友评论
下载声明

☉ 解压密码:www.jb51.net 就是本站主域名,希望大家看清楚,[ 分享码的获取方法 ]可以参考这篇文章
☉ 推荐使用 [ 迅雷 ] 下载,使用 [ WinRAR v5 ] 以上版本解压本站软件。
☉ 如果这个软件总是不能下载的请在评论中留言,我们会尽快修复,谢谢!
☉ 下载本站资源,如果服务器暂不能下载请过一段时间重试!或者多试试几个下载地址
☉ 如果遇到什么问题,请评论留言,我们定会解决问题,谢谢大家支持!
☉ 本站提供的一些商业软件是供学习研究之用,如用于商业用途,请购买正版。
☉ 本站提供的DataBand(数据帮) v1.0资源来源互联网,版权归该下载资源的合法拥有者所有。