云原生数据平台(cloudeon)--核心服务组件扩展

🔥🔥 AllData大数据产品是可定义数据中台,以数据平台为底座,以数据中台为桥梁,以机器学习平台为中层框架,以大模型应用为上游产品,提供全链路数字化解决方案。

✨杭州奥零数据科技官网:http://www.aolingdata.com

✨Github项目:https://github.com/alldatacenter/alldata

✨Gitee项目:https://gitee.com/alldatacenter/alldata

✨AllData官方手册:https://www.yuque.com/aolingdata/product

✨AllData正式环境:http://43.138.156.44:5173/ui_moat

摘要:本文聚焦于云原生数据平台(Cloudeon),详细阐述了其核心服务组件的扩展情况,具体涵盖以下新增服务:

• 添加ZooKeeper服务

• 添加HDFS服务

• 添加FIink服务

• 添加YARN服务

• 添加doris服务

云原生数据平台基于开源项目CloudEon建设

  • 基于开源项目CloudEon建设,简化kubernetes上大数据集群的运维管理,一款基于kubernetes的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。
  • CloudEon 将基于 Kubernetes的资源安装部署开源大数据组件,实现开源大数据平台的容器化运行,您可减少对于底层资源的运维关注。
  • 功能特性快速搭建大数据集群容器化运行大数据服务支持监控告警等功能支持配置修改等功能自动化运维可视化管理界面

开源项目:https://github.com/dromara/CloudEon

更多教程可以参考官方教程文档:https://cloudeon.dromara.org/#/index

一、添加ZooKeeper服务

1.添加流程

1.1 进入新增服务页面,选择ZooKeeper

  • 下滑到最下方,点击 "下一步"

1.2 分配角色

  • 三节点

  • 然后点击 "下一步"

1.3 初始化配置

  • 默认配置即可
  • 点击 "安装"

1.4 等待安装完成

二、添加HDFS服务

  • 下滑到最下方,点击 "下一步"

1.分配角色

  • 配置相关节点,用户可根据实际情况自行修改

然后点击 "下一步"

2.初始化配置

  • 默认配置即可,点击 "安装"
  • 点击 "编辑配置项"
  • 点击 "添加自定义配置"
  • 添加如下配
  • dfs.namenode.http-address.hdfscluster1.nn1 = 0.0.0.0:50070
  • dfs.namenode.http-address.hdfscluster1.nn2 = 0.0.0.0:50070

  • 点击 "启动-安装"

3.等待安装完成

三、添加Flink服务

1.添加流程

1.1 进入新增服务页面,选择Flink

  • 下滑到最下方,点击 "下一步"

1.2 分配角色

  • 点击 "下一步"

1.3 初始化配置

  • 根据用户实际需求进行修改,无需求则按照默认即可

1.4 等待安装完成

四、添加YARN服务

1.添加流程

1.1 进入新增服务页面,选择YARN

  • 下滑到最下方,点击 "下一步"

1.2 分配角色

  • 配置相关节点,用户可根据实际情况自行修改
  • 然后点击 "下一步"

1.3 初始化配置

  • 默认配置即可,点击 "安装"
  • 点击 "编辑配置项"

点击 "添加自定义配置"

  • 添加如下配置
  • 点击 "确定 - 安装"

1.4 等待安装完成

五、添加doris服务

1.添加流程

1.1 进入新增服务页面,选择Doris

  • 下滑到最下方,点击 "下一步"

1.2 分配角色

  • 这里建议 master、follower、observer 角色为不同一个节点,否则容易发生端口冲突

1.3 初始化配置

  • 根据用户实际需求进行修改,无需求则按照默认即可

1.4 等待安装完成

相关推荐
阿坤带你走近大数据4 分钟前
数据湖的构建实施方法论
大数据·数据湖·湖仓一体
安徽必海微马春梅_6688A12 分钟前
实验a 信息化集成化生物信号采集与处理系统
大数据·人工智能·深度学习·信号处理
焦糖玛奇朵婷16 分钟前
盲盒小程序:开发视角下的功能与体验
java·大数据·jvm·算法·小程序
野豹商业评论35 分钟前
千问App全球首发点外卖、买东西、订机票等AI购物功能
大数据·人工智能
yhdata1 小时前
2026年镍合金线行业产业链分析报告
大数据·人工智能
NocoBase2 小时前
NocoBase 本周更新汇总:支持 Gemini-3 模型
人工智能·开源·零代码·无代码·版本更新
网络工程师_ling2 小时前
【阿里云多地域混合云网络架构】
网络·阿里云·架构
汇智信科2 小时前
智慧矿山和工业大数据解决方案“安全生产数据综合分析系统
大数据·人工智能·安全·智能算法·智慧矿山·工业大数据·汇智信科
FinClip2 小时前
凡泰极客FinClip荣获2025中国企业IT大奖!AI+超级APP重塑企业AI服务
前端·架构·openai
雨大王5122 小时前
汽车工厂智能调度系统:自适应调度算法如何解决资源与任务匹配难题?
大数据·人工智能·汽车·制造