基于Flink的数据中台管理平台

基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。

同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookeeper、mysql等等这些组件的一些监控和管理。

同时做到了在线日志查询

除业务系统功能外,还添加flink job功能。

这是一整套关于数据的系统。已经在实际的场景中使用起来。大大的减少了对数据,对系统和对整个集群的管理工作。

如需要,请联系。本系统代码量在20w+行以上,使用java、scala、golang、shell、react、uniapp等技术进行开发,会比较复杂。确实需要,需要一些费用,同时也接受定制开发。

GITHUB: https://github.com/poemp/datahub-flink-clickhouse.git

GITEE:https://gitee.com/lyw2010/datahub-flink-clickhouse.git

相关推荐
Filotimo_20 小时前
在java后端开发中,ES的用处
java·elasticsearch·jenkins
kdniao120 小时前
问答FQA|快递鸟对接系统/小程序常见问题解答产品篇(一)
大数据·小程序
华仔啊20 小时前
都在用 Java8 或 Java17,那 Java9 到 16 呢?他们真的没用吗?
java·后端
WizLC20 小时前
【后端】面向对象编程是什么(附加几个通用小实例项目)
java·服务器·后端·python·设计语言
刘个Java20 小时前
手搓遥控器通过上云api执行航线
java·redis·spring cloud·docker
wanghowie20 小时前
01.09 Java基础篇|算法与数据结构实战
java·数据结构·算法
回吐泡泡oO20 小时前
ElasticSearch添加登录校验(仅供参考)
java·elasticsearch·jenkins
qq_27049009620 小时前
基于Hadoop的教育大数据可视化系统的设计与实现
大数据·hadoop·信息可视化
步步为营DotNet20 小时前
深度剖析.NET中WeakReference的内存管理机制:优化资源使用与避免内存泄漏
java·jvm·.net
电商API_1800790524720 小时前
数据驱动商品运营:电商 SKU 生命周期数据分析与优化策略
大数据·数据库·人工智能