实时开发IDE部署指南

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:http://www.aolingdata.com

✨AllData开源项目:https://github.com/alldatacenter/alldata

✨Gitee组织:https://gitee.com/alldatacenter

摘要:实时开发IDE基于开源项目Dinky建设,提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点。内容主要为以下五部分:

一、在线演示环境
二、功能简介
三、源码编译部署安装
四、访问实时开发IDE页面
五、常见问题与解决方案

💡Tips:关注「公众号」大数据商业驱动引擎

🔹AllData数据中台线上正式环境:http://43.138.156.44:5173/ui_moat/

请联系市场总监获取账号密码


2.1 实时开发IDE基于开源项目Dinky建设

实时开发IDE(Dinky)是一款基于Apache Flink构建的一站式实时计算平台。

提供了轻量化部署、智能化开发体验、高效任务管理与运维以及丰富的生态集成与扩展性等功能特点,适用于边缘计算、IoT设备等资源受限场景,以及市场趋势预测、用户行为实时响应、产品性能动态监控等多种实时计算场景。

🔹Dinky开源项目:https://github.com/DataLinkDC/dinky

🔹Dinky文档地址:https://www.dinky.org.cn

2.2 实时开发IDE功能特点

  • 轻量化与开箱即用
  • 智能化开发体验
  • 高校任务管理与运维
  • 生态集成与扩展性
  • 企业级应用场景

💡部署步骤:

3.1 环境准备

🔹操作系统要求:

推荐 Linux(CentOS 7+/Ubuntu 20.04+)或 macOS。

🔹网络要求:

确保服务器网络通畅,能够访问所需资源。

🔹依赖工具:

JDK 1.8+Maven 3.6+GitMySQL 5.7+(用于存储元数据和作业信息)Node.js(如需前端编译)

3.2 稳定版本

--Dinky集成版本opensource.version=1.2.1

3.3 源码编译部署获取安装包


4.1 功能概览

4.2 数据开发

4.3 数据同步-M2Sql

4.4 数据开发-实时ETL

4.5 数据同步-批处理任务SQL开发

4.6 数据开发-实时ETL

4.7 Dinky测试单表离线同步(Mysql2Doris)

4.8Dinky测试整库同步+实时增量同步(Mysql2Doris)

🔹源数据库6条数据库

🔹目标Doris数据库6条数据库

🔹源数据库6条数据库,新增2条,目标数据库实时同步增加2条,合计8条数据

🔹Doris目标数据库实时同步增加2条,合计8条数据,验证通过✅

🔹Flink Runtime Web

4.9 实时开发IDE-运维中心

4.10 运维中心-任务版本信息

4.11 运维中心-SQL血缘

4.12 注册中心-Flink实例

4.13 注册中心-集群管理

4.14 创建集群配置

4.15 注册中心-数据源管理

4.16 创建数据源

4.17 注册中心-告警策略管理

4.18 创建告警实例

4.19 创建告警组

4.20 告警模版

4.21 创建模版

4.22 告警策略

4.23 新建告警策略

4.24 文件

4.25 创建文档

4.26 创建全局变量

4.27 Cit 项目(Beta)

4.28 创建项目

4.29 注册中心-UDF模版管理

4.30 注册UDF

4.31 认证中心

4.32 认证中心-菜单管理

4.33 添加用户

4.34 修改用户

4.35 分配角色

4.36 修改密码

4.37 角色

4.38 创建角色

4.39 菜单

4.40 行权限-创建行权限

4.41 租户

4.42 创建租户

4.43 令牌-创建Token

4.44 配置中心


4.45 配置中心-Metrics配置管理

4.46 配置中心-类加载器管理-服务依赖检测

4.47 配置中心-系统日志-Root Logs

4.48 配置中心-系统日志-Log List

4.49 配置中心-类加载器 Jars

4.50 看板-创建仪表盘


5.1 依赖冲突

确保 JDK 和 Maven 版本与项目要求一致。

使用 mvn dependency:tree 解决依赖冲突。

5.2 数据库连接失败

检查 application.yml 中的数据库配置是否正确。确保 MySQL 服务可访问。

5.3 端口冲突

如果 8888 端口被占用,可在配置文件中修改 server.port 参数。

5.4 版本不匹配

确保 Dinky 版本与 Flink 版本对应,依赖包放置在正确的目录下。

相关推荐
weixin_5112228036 分钟前
GameObject 常见类型详解 -- 任务给予对象(QUESTGIVER)
开源
小蕾Java1 小时前
PyCharm保姆级详细使用手册(Python新手快速上手篇)
ide·python·pycharm
xuegao08071 小时前
WSL安装并配置到pyCharm
ide·python·pycharm
努力还债的学术吗喽2 小时前
pycharm找不到Tencent Cloud CodeBuddy如何安装[windows]?pycharm插件市场找不到插件如何安装?
ide·windows·pycharm·插件·plugin·codebuddy
计算机毕设残哥3 小时前
基于Hadoop+Spark的商店购物趋势分析与可视化系统技术实现
大数据·hadoop·python·scrapy·spark·django·dash
IT研究室3 小时前
大数据毕业设计选题推荐-基于大数据的全球能源消耗量数据分析与可视化系统-大数据-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
武子康4 小时前
大数据-113 Flink 源算子详解:非并行源(Non-Parallel Source)的原理与应用场景
大数据·后端·flink
WPG大大通4 小时前
从数据到模型:Label Studio 开源标注工具完整实施指南
经验分享·笔记·ai·系统架构·开源·大大通
weixin_511222804 小时前
GameObject 常见类型详解 -- 陷阱(TRAP)
开源
weixin_511222805 小时前
GameObject 常见类型详解 -- 傻瓜(GOOBER)
开源