实时开发IDE部署指南

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:http://www.aolingdata.com

✨AllData开源项目:https://github.com/alldatacenter/alldata

✨Gitee组织:https://gitee.com/alldatacenter

摘要:实时开发IDE基于开源项目Dinky建设,提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点。内容主要为以下五部分:

一、在线演示环境
二、功能简介
三、源码编译部署安装
四、访问实时开发IDE页面
五、常见问题与解决方案

💡Tips:关注「公众号」大数据商业驱动引擎

🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/

请联系市场总监获取账号密码


2.1 实时开发IDE基于开源项目Dinky建设

实时开发IDE(Dinky)是一款基于Apache Flink构建的一站式实时计算平台。

提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点,适用于边缘计算、IoT设备等资源受限场景,以及市场趋势预测、用户行为实时响应、产品性能动态监控等多种实时计算场景。

🔹Dinky开源项目:https://github.com/DataLinkDC/dinky

🔹Dinky文档地址:https://www.dinky.org.cn

2.2 实时开发IDE功能特点

  • 轻量化与开箱即用
  • 智能化开发体验
  • 高校任务管理与运维
  • 生态集成与扩展性
  • 企业级应用场景

💡部署步骤:

3.1 环境准备

🔹操作系统要求:

推荐 Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。

🔹网络要求:

确保服务器网络通畅,能够访问所需资源。

🔹依赖工具:

JDK 1.8+Maven 3.6+GitMySQL 5.7+(用于存储元数据和作业信息)Node.js(如需前端编译)

3.2 稳定版本

--Dinky集成版本opensource.version=1.2.1

3.3 源码编译部署获取安装包


4.1 功能概览

4.2 数据开发

4.3 数据同步-M2Sql

4.4 数据开发-实时ETL

4.5 数据同步-批处理任务SQL开发

4.6 数据开发-实时ETL

4.7 Dinky测试单表离线同步(Mysql2Doris)

4.8Dinky测试整库同步+实时增量同步(Mysql2Doris)

🔹源数据库6条数据库

🔹目标Doris数据库6条数据库

🔹源数据库6条数据库,新增2条,目标数据库实时同步增加2条,合计8条数据

🔹Doris目标数据库实时同步增加2条,合计8条数据,验证通过✅

🔹Flink Runtime Web

4.9 实时开发IDE-运维中心

4.10 运维中心-任务版本信息

4.11 运维中心-SQL血缘

4.12 注册中心-Flink实例

4.13 注册中心-集群管理

4.14 创建集群配置

4.15 注册中心-数据源管理

4.16 创建数据源

4.17 注册中心-告警策略管理

4.18 创建告警实例

4.19 创建告警组

4.20 告警模版

4.21 创建模版

4.22 告警策略

4.23 新建告警策略

4.24 文件

4.25 创建文档

4.26 创建全局变量

4.27 Cit 项目(Beta)

4.28 创建项目

4.29 注册中心-UDF模版管理

4.30 注册UDF

4.31 认证中心

4.32 认证中心-菜单管理

4.33 添加用户

4.34 修改用户

4.35 分配角色

4.36 修改密码

4.37 角色

4.38 创建角色

4.39 菜单

4.40 行权限-创建行权限

4.41 租户

4.42 创建租户

4.43 令牌-创建Token

4.44 配置中心


4.45 配置中心-Metrics配置管理

4.46 配置中心-类加载器管理-服务依赖检测

4.47 配置中心-系统日志-Root Logs

4.48 配置中心-系统日志-Log List

4.49 配置中心-类加载器 Jars

4.50 看板-创建仪表盘


5.1 依赖冲突

确保 JDK 和 Maven 版本与项目要求一致。

使用 mvn dependency:tree 解决依赖冲突。

5.2 数据库连接失败

检查 application.yml 中的数据库配置是否正确。确保 MySQL 服务可访问。

5.3 端口冲突

如果 8888 端口被占用,可在配置文件中修改 server.port 参数。

5.4 版本不匹配

确保 Dinky 版本与 Flink 版本对应,依赖包放置在正确的目录下。

相关推荐
IT研究室1 小时前
最新大数据毕业设计选题推荐-基于大数据的电商与本地服务消费评论数据可视化分析-大数据-Spark-Hadoop-Bigdata
大数据·信息可视化·课程设计
大大大大晴天️2 小时前
从 HDFS 到对象存储:计算存储分离如何重塑云原生大数据底座
大数据·云原生
Flynt9 小时前
OpenJDK禁AI代码半年了,现在执行得怎么样?答案是:全靠自觉
java·开源·ai编程
冬奇Lab9 小时前
开源项目第204期:LoopX — 长周期 Agent 控制平面,跑在 Codex/Claude Code 之上的状态管理层
人工智能·开源
stormzhangV11 小时前
AI 视频迎来了奇点时刻
开源·ai编程
大大大大晴天13 小时前
从 HDFS 到对象存储:计算存储分离如何重塑云原生大数据底座
大数据
ovO13 小时前
DeepSeek Harness 源码解读(五):工具明明并发执行,结果为什么还按顺序写入
开源·agent·deepseek
dong_junshuai13 小时前
每天一个开源项目#86 ECC:245K星的 Agent 工程操作层
开源·github·agent
狂师14 小时前
阿里开源:skill-up,一款Agent Skill 评测工具!
人工智能·开源·agent
Erishen18 小时前
🚀 用 React Three Fiber 造一个会说话的 3D 数字人:从密钥安全到 Serverless 10 秒极限的踩坑全记录
架构·开源·agent