基于Flink的数据中台管理平台

基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。

同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookeeper、mysql等等这些组件的一些监控和管理。

同时做到了在线日志查询

除业务系统功能外,还添加flink job功能。

这是一整套关于数据的系统。已经在实际的场景中使用起来。大大的减少了对数据,对系统和对整个集群的管理工作。

如需要,请联系。本系统代码量在20w+行以上,使用java、scala、golang、shell、react、uniapp等技术进行开发,会比较复杂。确实需要,需要一些费用,同时也接受定制开发。

GITHUB: https://github.com/poemp/datahub-flink-clickhouse.git

GITEE:https://gitee.com/lyw2010/datahub-flink-clickhouse.git

相关推荐
瀚高PG实验室17 小时前
java中间件无法连接数据库
java·数据库·中间件·瀚高数据库
东南门吹雪17 小时前
JAVA TCP socket编程框架
java·高并发·socket·tcp·nio
xingyuzhisuan17 小时前
缓存命中率提升方案:从 30% 优化至 82% 全流程优化记录
java·开发语言·缓存·ai
一条泥憨鱼17 小时前
Java开发效率神器:Lombok从入门到精通!
java·后端·学习·开发·lombok
terry60017 小时前
2026滑动拼图验证码选型指南:AI对抗下的厂商对比与落地实测
大数据·人工智能·web安全·信息与通信·数据库架构
Jinkxs17 小时前
Python基础 - 初识内置函数 Python自带的便捷工具
android·java·python
仓储管理员202517 小时前
六款WMS仓储管理系统功能与部署方式介绍
大数据·精选
奥利奥夹心脆芙17 小时前
零基础调试 Java 代码:Gemini 报错排查完整实操指南
java
阿部多瑞 ABU17 小时前
数据循环悖论:AI检测模型的技术局限与生态灾难
大数据·人工智能·安全·机器学习·ai·自然语言处理
desond18 小时前
杭州抖音代运营公司怎么选?品牌来杭考察前的选择参考
大数据·产品运营