基于Flink的数据中台管理平台

基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。

同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookeeper、mysql等等这些组件的一些监控和管理。

同时做到了在线日志查询

除业务系统功能外,还添加flink job功能。

这是一整套关于数据的系统。已经在实际的场景中使用起来。大大的减少了对数据,对系统和对整个集群的管理工作。

如需要,请联系。本系统代码量在20w+行以上,使用java、scala、golang、shell、react、uniapp等技术进行开发,会比较复杂。确实需要,需要一些费用,同时也接受定制开发。

GITHUB: https://github.com/poemp/datahub-flink-clickhouse.git

GITEE:https://gitee.com/lyw2010/datahub-flink-clickhouse.git

相关推荐
l***3709几秒前
spring 跨域CORS Filter
java·后端·spring
CoderYanger几秒前
递归、搜索与回溯-FloodFill:33.太平洋大西洋水流问题
java·算法·leetcode·1024程序员节
阿乔外贸日记2 分钟前
中国汽车零配件出口企业情况
大数据·人工智能·智能手机·云计算·汽车
天远数科2 分钟前
微服务架构下的风控数据集成:基于Go的支付行为指数API实战
大数据·api
飞飞传输4 分钟前
选对国产FTP服务器,筑牢数据传输安全防线,合规高效双达标
大数据·运维·安全
P***843911 分钟前
idea创建springBoot的五种方式
java·spring boot·intellij-idea
yuanhello22 分钟前
【Android】Android的键值对存储方案对比
android·java·android studio
2501_9411429324 分钟前
云原生微服务环境下服务熔断与降级优化实践——提升系统稳定性与容错能力
java·大数据·网络
2501_9414043125 分钟前
多云环境下微服务化AI大模型的企业部署与优化实践指南
java
浩瀚地学40 分钟前
【Java】数组
java·开发语言