基于Flink的数据中台管理平台

基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。

同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookeeper、mysql等等这些组件的一些监控和管理。

同时做到了在线日志查询

除业务系统功能外,还添加flink job功能。

这是一整套关于数据的系统。已经在实际的场景中使用起来。大大的减少了对数据,对系统和对整个集群的管理工作。

如需要,请联系。本系统代码量在20w+行以上,使用java、scala、golang、shell、react、uniapp等技术进行开发,会比较复杂。确实需要,需要一些费用,同时也接受定制开发。

GITHUB: https://github.com/poemp/datahub-flink-clickhouse.git

GITEE:https://gitee.com/lyw2010/datahub-flink-clickhouse.git

相关推荐
★YUI★8 分钟前
学习游戏制作记录(玩家掉落系统,删除物品功能和独特物品)8.17
java·学习·游戏·unity·c#
微小的xx11 分钟前
java + html 图片点击文字验证码
java·python·html
淡酒交魂19 分钟前
「Flink」业务搭建方法总结
大数据·数据挖掘·数据分析
mask哥24 分钟前
详解flink java基础(一)
java·大数据·微服务·flink·实时计算·领域驱动
TDengine (老段)28 分钟前
TDengine IDMP 高级功能(4. 元素引用)
大数据·数据库·人工智能·物联网·数据分析·时序数据库·tdengine
克拉克盖博41 分钟前
chapter03_Bean的实例化与策略模式
java·spring·策略模式
DashVector1 小时前
如何通过Java SDK分组检索Doc
java·数据库·面试
livemetee1 小时前
Flink2.0学习笔记:Flink服务器搭建与flink作业提交
大数据·笔记·学习·flink
程序员清风1 小时前
跳表的原理和时间复杂度,为什么还需要字典结构配合?
java·后端·面试
渣哥1 小时前
Kafka消息丢失的3种场景,生产环境千万要注意
java