基于Flink的数据中台管理平台

基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。

同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookeeper、mysql等等这些组件的一些监控和管理。

同时做到了在线日志查询

除业务系统功能外,还添加flink job功能。

这是一整套关于数据的系统。已经在实际的场景中使用起来。大大的减少了对数据,对系统和对整个集群的管理工作。

如需要,请联系。本系统代码量在20w+行以上,使用java、scala、golang、shell、react、uniapp等技术进行开发,会比较复杂。确实需要,需要一些费用,同时也接受定制开发。

GITHUB: https://github.com/poemp/datahub-flink-clickhouse.git

GITEE:https://gitee.com/lyw2010/datahub-flink-clickhouse.git

相关推荐
CodeCraft Studio17 小时前
【能源与流程工业案例】KBC借助TeeChart 打造工业级数据可视化平台
java·信息可视化·.net·能源·teechart·工业可视化·工业图表
摇滚侠17 小时前
Spring Boot 3零基础教程,WEB 开发 默认页签图标 Favicon 笔记29
java·spring boot·笔记
YSRM17 小时前
Leetcode+Java+图论+最小生成树&拓扑排序
java·leetcode·图论
沐浴露z18 小时前
【JVM】详解 Class类文件的结构
java·jvm·class
桦说编程18 小时前
Java并发编程:两种控制并发度的实现方法及其比较
java·后端
杯莫停丶18 小时前
设计模式之:单例模式
java·单例模式·设计模式
消失的旧时光-194318 小时前
@JvmStatic 的作用
java·开发语言·kotlin
火锅机器18 小时前
java 8 lambda表达式对list进行分组
java·开发语言·list
我是华为OD~HR~栗栗呀19 小时前
华为od-22届考研-测试面经
java·c++·python·功能测试·华为od·华为·面试