基于Flink的数据中台管理平台

基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。

同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookeeper、mysql等等这些组件的一些监控和管理。

同时做到了在线日志查询

除业务系统功能外,还添加flink job功能。

这是一整套关于数据的系统。已经在实际的场景中使用起来。大大的减少了对数据,对系统和对整个集群的管理工作。

如需要,请联系。本系统代码量在20w+行以上,使用java、scala、golang、shell、react、uniapp等技术进行开发,会比较复杂。确实需要,需要一些费用,同时也接受定制开发。

GITHUB: https://github.com/poemp/datahub-flink-clickhouse.git

GITEE:https://gitee.com/lyw2010/datahub-flink-clickhouse.git

相关推荐
知兀2 分钟前
【MybatisPlus】后端用枚举类,数据库用tinyint,存在枚举类型转换
java
CyberwayTech4 分钟前
赛博威线上营销费用管理:咨询+系统,双轮驱动ROI增长
大数据·人工智能
StockTV5 分钟前
印度股票实时数据 NSE和BSE的实时行情、K 线及指数数据
java·开发语言·spring boot·python
User_芊芊君子7 分钟前
【OpenAI 把 AI 玩明白了】:自主推理 + 动态知识图谱,这 4 个技术突破要颠覆行业
java·人工智能·知识图谱
NOCSAH8 分钟前
统好AI:助力企业智改数转的务实实践
大数据·人工智能·统好ai
Sinokap12 分钟前
GPT-5.5 上线:OpenAI 把 AI 推向真实办公场景
大数据·人工智能
七颗糖很甜15 分钟前
“十五五”气象发展规划:聚焦五大核心任务
大数据·python·算法
科研前沿22 分钟前
镜像视界浙江科技有限公司的关键技术突破有哪些?
大数据·人工智能·科技·算法·音视频·空间计算
captain_AIouo28 分钟前
聚焦实操赋能,Captain AI系统功能实操指南及价值解读
大数据·人工智能·经验分享·aigc
个微管理31 分钟前
小红书新规深度拆解:从被封到破局,2026年矩阵号生存手册
大数据·人工智能·矩阵