实时开发IDE部署指南

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:http://www.aolingdata.com

✨AllData开源项目:https://github.com/alldatacenter/alldata

✨Gitee组织:https://gitee.com/alldatacenter

摘要:实时开发IDE基于开源项目Dinky建设,提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点。内容主要为以下五部分:

一、在线演示环境
二、功能简介
三、源码编译部署安装
四、访问实时开发IDE页面
五、常见问题与解决方案

💡Tips:关注「公众号」大数据商业驱动引擎

🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/

请联系市场总监获取账号密码


2.1 实时开发IDE基于开源项目Dinky建设

实时开发IDE(Dinky)是一款基于Apache Flink构建的一站式实时计算平台。

提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点,适用于边缘计算、IoT设备等资源受限场景,以及市场趋势预测、用户行为实时响应、产品性能动态监控等多种实时计算场景。

🔹Dinky开源项目:https://github.com/DataLinkDC/dinky

🔹Dinky文档地址:https://www.dinky.org.cn

2.2 实时开发IDE功能特点

  • 轻量化与开箱即用
  • 智能化开发体验
  • 高校任务管理与运维
  • 生态集成与扩展性
  • 企业级应用场景

💡部署步骤:

3.1 环境准备

🔹操作系统要求:

推荐 Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。

🔹网络要求:

确保服务器网络通畅,能够访问所需资源。

🔹依赖工具:

JDK 1.8+Maven 3.6+GitMySQL 5.7+(用于存储元数据和作业信息)Node.js(如需前端编译)

3.2 稳定版本

--Dinky集成版本opensource.version=1.2.1

3.3 源码编译部署获取安装包


4.1 功能概览

4.2 数据开发

4.3 数据同步-M2Sql

4.4 数据开发-实时ETL

4.5 数据同步-批处理任务SQL开发

4.6 数据开发-实时ETL

4.7 Dinky测试单表离线同步(Mysql2Doris)

4.8Dinky测试整库同步+实时增量同步(Mysql2Doris)

🔹源数据库6条数据库

🔹目标Doris数据库6条数据库

🔹源数据库6条数据库,新增2条,目标数据库实时同步增加2条,合计8条数据

🔹Doris目标数据库实时同步增加2条,合计8条数据,验证通过✅

🔹Flink Runtime Web

4.9 实时开发IDE-运维中心

4.10 运维中心-任务版本信息

4.11 运维中心-SQL血缘

4.12 注册中心-Flink实例

4.13 注册中心-集群管理

4.14 创建集群配置

4.15 注册中心-数据源管理

4.16 创建数据源

4.17 注册中心-告警策略管理

4.18 创建告警实例

4.19 创建告警组

4.20 告警模版

4.21 创建模版

4.22 告警策略

4.23 新建告警策略

4.24 文件

4.25 创建文档

4.26 创建全局变量

4.27 Cit 项目(Beta)

4.28 创建项目

4.29 注册中心-UDF模版管理

4.30 注册UDF

4.31 认证中心

4.32 认证中心-菜单管理

4.33 添加用户

4.34 修改用户

4.35 分配角色

4.36 修改密码

4.37 角色

4.38 创建角色

4.39 菜单

4.40 行权限-创建行权限

4.41 租户

4.42 创建租户

4.43 令牌-创建Token

4.44 配置中心


4.45 配置中心-Metrics配置管理

4.46 配置中心-类加载器管理-服务依赖检测

4.47 配置中心-系统日志-Root Logs

4.48 配置中心-系统日志-Log List

4.49 配置中心-类加载器 Jars

4.50 看板-创建仪表盘


5.1 依赖冲突

确保 JDK 和 Maven 版本与项目要求一致。

使用 mvn dependency:tree 解决依赖冲突。

5.2 数据库连接失败

检查 application.yml 中的数据库配置是否正确。确保 MySQL 服务可访问。

5.3 端口冲突

如果 8888 端口被占用,可在配置文件中修改 server.port 参数。

5.4 版本不匹配

确保 Dinky 版本与 Flink 版本对应,依赖包放置在正确的目录下。

相关推荐
小羊没烦恼!1 天前
微服务化的基石——持续集成
java·大数据·word·powerpoint·.net
一隅论数智1 天前
给AI一张“业务概念地图“:本体如何从哲学走向企业智能
大数据·人工智能·经验分享·笔记·学习·学习方法·政务
不悔哥1 天前
开源OV-Watch:怎么做一个智能手表
单片机·开源·嵌入式
家和801 天前
Carla仿真系列:4_在 Carla 的 Tesla 上装 4 路摄像头,并创建网格为环视拼接做准备
开源
尧炎科技1 天前
防潮抗变形,就选纯品梅花全桉多层板
大数据
感谢地心引力1 天前
我用 Doubao-Seed-2.1-pro 做了一个深度融入 AI 功能的本地知识库软件
ai·开源·seed·markdown·豆包
alsmile1 天前
Node-RED 之外,国产规则引擎的新方案:基于标准语法,Go 先行实现
后端·开源·go
程序员大阳1 天前
副队长大数据教程(5)--集群情况下虚拟机网络配置
大数据·集群·nat·网路
自由能燃气设备1 天前
商用全预混低氮冷凝锅炉免费方案vs付费方案对比+选型避坑指南
大数据·数据库·人工智能
科创致远1 天前
科创致远 ESOP 系统核心效能与实战价值展示
大数据·数据库·人工智能·精益工程