基于Flink的数据中台管理平台

基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。

同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookeeper、mysql等等这些组件的一些监控和管理。

同时做到了在线日志查询

除业务系统功能外,还添加flink job功能。

这是一整套关于数据的系统。已经在实际的场景中使用起来。大大的减少了对数据,对系统和对整个集群的管理工作。

如需要,请联系。本系统代码量在20w+行以上,使用java、scala、golang、shell、react、uniapp等技术进行开发,会比较复杂。确实需要,需要一些费用,同时也接受定制开发。

GITHUB: https://github.com/poemp/datahub-flink-clickhouse.git

GITEE:https://gitee.com/lyw2010/datahub-flink-clickhouse.git

相关推荐
坚持就完事了4 分钟前
数据结构之树(Java实现)
java·算法
Monly218 分钟前
Java:修改打包配置文件
java·开发语言
roman_日积跬步-终至千里8 分钟前
【架构设计与实现】动态数据源切换:核心代码实现手册
java
XiaoFan01216 分钟前
免密批量抓取日志并集中输出
java·linux·服务器
顾北1223 分钟前
MCP服务端开发:图片搜索助力旅游计划
java·spring boot·dubbo
财经三剑客27 分钟前
AI元年,春节出行安全有了更好的答案
大数据·人工智能·安全
我命由我1234529 分钟前
Android 广播 - 静态注册与动态注册对广播接收器实例创建的影响
android·java·开发语言·java-ee·android studio·android-studio·android runtime
赛姐在努力.31 分钟前
【拓扑排序】-- 算法原理讲解,及实现拓扑排序,附赠热门例题
java·算法·图论
yxc_inspire35 分钟前
Java学习第二天
java·面向对象
毕设源码-赖学姐37 分钟前
【开题答辩全过程】以 基于net超市销售管理系统为例,包含答辩的问题和答案
java