Fluid 正式入驻青云 KubeSphere Marketplace,共建云原生数据加速新生态

随着企业数字化转型的深入推进,云原生架构 已成为现代应用构建的主流选择。 在大数据处理、AI 大模型训推等业务场景中,如何实现高效弹性数据资源管理与调度,已成为云原生落地的关键挑战之一。

近日,云原生数据编排与加速平台 Fluid 正式入驻青云 KubeSphere Marketplace,为企业用户提供统一、高效的数据访问与缓存管理能力,共同打造面向未来的数据驱动新范式。

Fluid + KubeSphere:原生集成,释放数据价值

Fluid 是一个开源的云原生数据编排与加速平台,基于 Kubernetes 构建。通过数据缓存与智能调度优化,Fluid 能显著提升 AI 训练、大数据分析等场景下的数据访问性能。

此次通过CCF GitLink编程夏令营(GLCC)平台提供的开源开发力量(开发者:林福涛,项目导师:顾荣)扩展组件 的形式入驻 KubeSphere Marketplace,不仅进一步 降低了部署门槛,还增强了与 Kubernetes 场景的深度适配,帮助企业以更低成本构建统一的数据编排与加速体系。

借助 KubeSphere 图形化控制台 ,用户可一键安装并完成配置,实现 可视化的数据缓存管理运维自动化

扩展组件介绍

Fluid 通过 Dataset 抽象层 统一管理多类型数据源,并结合缓存运行时(如 Alluxio、JuiceFS、JindoFS 等)实现高性能数据访问。

它具备以下核心能力:

✅ 自动缓存调度:根据计算任务与数据访问模式动态调整缓存布局,减少跨节点 I/O。

✅ 数据亲和性调度:让计算更靠近数据执行,最大化节点本地缓存命中率。

✅ 缓存预热与复用:提前加载热点数据,支持不同任务间缓存共享,提升资源利用率。

✅ 多数据源编排:支持同时挂载 HDFS、OSS、S3、Ceph、NFS 等异构存储,实现统一访问接口。

这些特性能极大地提升 AI 模型训练大数据分析 的数据访问效率,为云原生数据架构注入强劲动力。

快速部署指南

环境准备

使用 KubeSphere 企业版KubeSphere 社区版 ,即可通过控制台完成 Fluid 的快速部署。 详细安装文档请参考:

👉 KubeSphere 安装指南

值得一提的是,KubeSphere 社区版与企业版之间支持无缝迁移,用户在完成社区版部署后,仅需更换 License 即可升级为企业版,无需重新安装或中断现有服务。

安装步骤

第一步:进入扩展市场

登录 KubeSphere 控制台,依次点击「工作台」→「扩展组件」,搜索关键词 Fluid

第二步:安装扩展组件

点击进入 Fluid 组件详情页,点击"安装"。

系统将自动部署相关资源,包括 Fluid Controller、核心 CRD 以及 缓存运行时组件

第三步:访问 Fluid 控制台

部署完成后,可通过控制台左上角的 Fluid 插件入口直接访问 Fluid 控制界面,进行数据缓存与加速管理。

更多上手指南请参考: 👉 Fluid 官方快速入门

Fluid 应用场景

1. AI 与大模型训练

在 AI 训练场景中,数据分布广、访问频繁。Fluid 能为训练节点提供近似本地磁盘的访问性能,有效提升训练效率并降低 I/O 等待时间。

2. 大数据分析

对于 Spark、Presto、Flink 等计算引擎,Fluid 通过缓存共享机制减少重复拉取数据的成本,显著缩短作业执行时长。

3. 科学计算与仿真

在 HPC 场景中,Fluid 让计算节点共享高速缓存层,突破传统存储性能瓶颈,实现更快的数据流转与任务迭代。

4. 多云与混合云数据访问

Fluid 支持跨集群数据编排,使企业能够在多云环境下实现一致的数据访问体验与智能调度策略。

结语

Fluid 入驻 KubeSphere Marketplace,标志着云原生数据编排与加速能力的生态化发展迈出关键一步。 未来,KubeSphere 将携手社区伙伴,持续推动开源生态的协同创新,助力更多企业构建高效、智能、可持续的云原生数据基础设施。

关于 Fluid

Fluid是一个开源的、原生Kubernetes的分布式数据集编排器和加速器,适用于大数据和人工智能等数据密集型应用。它由南京大学、阿里云、Alluxio联合发起,并成功进入云原生计算基金会(CNCF)作为沙盒项目托管。Fluid能够通过支持数据集操作,将分布式缓存系统(如Alluxio和JuiceFS)转换为具有自我管理、弹性伸缩和自我修复能力的可观测缓存服务。同时,通过数据缓存位置信息,Fluid可以为使用数据集的应用程序提供数据亲和性调度。

网站地址:https://fluid-cloudnative.github.io/

Fluid研究论文: Rong Gu, Kai Zhang, Zhihao Xu, et al. Fluid: Dataset Abstraction and Elastic Acceleration for Cloud-native Deep Learning Training Jobs. IEEE ICDE, pp. 2183-2196, May, 2022.

关于 KubeSphere

KubeSphere 是领先的云原生核心服务商青云科技于 2018 年推出的容器管理平台,致力于打造一个以 Kubernetes 为内核的云原生分布式操作系统,帮助企业快速构建健壮的容器云平台。目前,KubeSphere 逐步打造了完善的企业级云原生产品家族,并已服务来自金融、运营商、制造、能源、物流、教育等领域的上千家企业客户。

网站地址:https://kubesphere.io/zh/

相关推荐
掘金-我是哪吒2 小时前
Kafka配套的Zookeeper启动脚本
分布式·zookeeper·云原生·kafka
IT 行者2 小时前
微服务架构选型指南:中小型软件公司的理性思考
微服务·云原生·架构
Chan163 小时前
微服务 - Higress网关
java·spring boot·微服务·云原生·面试·架构·intellij-idea
没有bug.的程序员3 小时前
Serverless 架构深度解析:FaaS/BaaS、冷启动困境与场景适配指南
云原生·架构·serverless·架构设计·冷启动·baas·faas
一条咸鱼_SaltyFish5 小时前
[Day13] 微服务架构下的共享基础库设计:contract-common 模块实践
开发语言·人工智能·微服务·云原生·架构·ai编程
原神启动15 小时前
K8S(七)—— Kubernetes Pod 基础概念与实战配置
云原生·容器·kubernetes
牛奔6 小时前
Docker 容器无法停止的排障与解决全过程
运维·docker·云原生·容器·eureka
牛奔16 小时前
Docker Compose 两种安装与使用方式详解(适用于 Docker 19.03 版本)
运维·docker·云原生·容器·eureka
木童66217 小时前
Kubernetes 操作管理完全指南:从陈述式到声明式,覆盖全生命周期
云原生·容器·kubernetes
不想画图18 小时前
Kubernetes(三)——组网概念和基础操作指令
云原生·容器·kubernetes