基于Flink的数据中台管理平台

基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。

同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookeeper、mysql等等这些组件的一些监控和管理。

同时做到了在线日志查询

除业务系统功能外,还添加flink job功能。

这是一整套关于数据的系统。已经在实际的场景中使用起来。大大的减少了对数据,对系统和对整个集群的管理工作。

如需要,请联系。本系统代码量在20w+行以上,使用java、scala、golang、shell、react、uniapp等技术进行开发,会比较复杂。确实需要,需要一些费用,同时也接受定制开发。

GITHUB: https://github.com/poemp/datahub-flink-clickhouse.git

GITEE:https://gitee.com/lyw2010/datahub-flink-clickhouse.git

相关推荐
AutoMQ5 分钟前
技术干货|为什么越来越多企业放弃 Flink/Spark,用 AutoMQ 替代传统 ETL?
大数据
半旧夜夏19 分钟前
Bug猫学习史#1:面向对象
java
wenb1n27 分钟前
【安全漏洞】隐藏在HTTP请求中的“隐形杀手”:Host头攻击漏洞深度剖析
java·后端
字节跳跃者35 分钟前
SpringBoot AOP + Redis 延时双删功能实战
java·后端
一只叫煤球的猫38 分钟前
你真的处理好 null 了吗?——11种常见但容易被忽视的空值处理方式
java·后端·面试
在钱塘江42 分钟前
《On Java进阶卷》- 笔记-2-对象传递和返回
java·后端
a cool fish(无名)1 小时前
rust-模块树中引用项的路径
java·前端·rust
花开富贵ii1 小时前
代码随想录算法训练营二十八天|动态规划part01
java·数据结构·算法·leetcode·动态规划
啊阿狸不会拉杆1 小时前
《Java 程序设计》第 7 章 - 继承与多态
java·开发语言·jvm·算法·intellij-idea
liux35281 小时前
从零构建:Jenkins与Kubernetes集成的完整指南
java·kubernetes·jenkins