基于Flink的数据中台管理平台

基于Flink做的数据中台工程项目。数据从source到clickhouse全流程的验证。集成元数据管、数据资产、数据发现功能,自主管理元数据变更,集成元数据版本管理。

同时,对整个大数据集群使用到的组件或者是工具进行管理。比如nacos、kafka、zookeeper、mysql等等这些组件的一些监控和管理。

同时做到了在线日志查询

除业务系统功能外,还添加flink job功能。

这是一整套关于数据的系统。已经在实际的场景中使用起来。大大的减少了对数据,对系统和对整个集群的管理工作。

如需要,请联系。本系统代码量在20w+行以上,使用java、scala、golang、shell、react、uniapp等技术进行开发,会比较复杂。确实需要,需要一些费用,同时也接受定制开发。

GITHUB: https://github.com/poemp/datahub-flink-clickhouse.git

GITEE:https://gitee.com/lyw2010/datahub-flink-clickhouse.git

相关推荐
wespaul2 小时前
VeapAI 自然语言操作实战|第 05 篇:向量与召回——从知识条目到可检索资产
大数据·数据库·人工智能·milvus
李福春2 小时前
技术思考问题17:上了LangChain框架就等于AI-Agent工程化吗?
大数据·人工智能·langchain·深圳同盟·腾讯云架构师技术同盟·llm应用架构·编排抽象
驭渊的小故事2 小时前
MyBatis XML 开发实战:从配置到 CRUD 全解析
xml·java·mybatis
一只鹿鹿鹿7 小时前
政务外网整体设计方案(PPT)
大数据·数据库·web安全·系统安全·流程图·政务
哦虎!7 小时前
【JavaEE】网络初识
java
for_ever_love__8 小时前
MySQL ORDER BY 排序优化:从 Using filesort 到索引有序扫描(含双路 / 单路排序原理)
java·mysql·优化·存储·by·order·filesort
数字新视界8 小时前
机房动环监控提升运维效率
大数据·服务器·数据库·动环监控系统·动力与环境监控系统
我是人✓8 小时前
Java文件上传三方式对比:从传统到SpringBoot
java·开发语言
SelectDB技术团队8 小时前
冷热分层从建到验:Storage Policy 创建、表级与分区级绑定、SHOW TABLETS 验证的完整命令
大数据·数据库·elasticsearch·搜索引擎·数据分析·apache doris·冷热分层
CALL158119098458 小时前
RoHS报告怎么做?测试项目、流程、费用与报告内容一文讲清
大数据