Fluid 正式入驻青云 KubeSphere Marketplace,共建云原生数据加速新生态

随着企业数字化转型的深入推进,云原生架构 已成为现代应用构建的主流选择。 在大数据处理、AI 大模型训推等业务场景中,如何实现高效弹性数据资源管理与调度,已成为云原生落地的关键挑战之一。

近日,云原生数据编排与加速平台 Fluid 正式入驻青云 KubeSphere Marketplace,为企业用户提供统一、高效的数据访问与缓存管理能力,共同打造面向未来的数据驱动新范式。

Fluid + KubeSphere:原生集成,释放数据价值

Fluid 是一个开源的云原生数据编排与加速平台,基于 Kubernetes 构建。通过数据缓存与智能调度优化,Fluid 能显著提升 AI 训练、大数据分析等场景下的数据访问性能。

此次通过CCF GitLink编程夏令营(GLCC)平台提供的开源开发力量(开发者:林福涛,项目导师:顾荣)扩展组件 的形式入驻 KubeSphere Marketplace,不仅进一步 降低了部署门槛,还增强了与 Kubernetes 场景的深度适配,帮助企业以更低成本构建统一的数据编排与加速体系。

借助 KubeSphere 图形化控制台 ,用户可一键安装并完成配置,实现 可视化的数据缓存管理运维自动化

扩展组件介绍

Fluid 通过 Dataset 抽象层 统一管理多类型数据源,并结合缓存运行时(如 Alluxio、JuiceFS、JindoFS 等)实现高性能数据访问。

它具备以下核心能力:

✅ 自动缓存调度:根据计算任务与数据访问模式动态调整缓存布局,减少跨节点 I/O。

✅ 数据亲和性调度:让计算更靠近数据执行,最大化节点本地缓存命中率。

✅ 缓存预热与复用:提前加载热点数据,支持不同任务间缓存共享,提升资源利用率。

✅ 多数据源编排:支持同时挂载 HDFS、OSS、S3、Ceph、NFS 等异构存储,实现统一访问接口。

这些特性能极大地提升 AI 模型训练大数据分析 的数据访问效率,为云原生数据架构注入强劲动力。

快速部署指南

环境准备

使用 KubeSphere 企业版KubeSphere 社区版 ,即可通过控制台完成 Fluid 的快速部署。 详细安装文档请参考:

👉 KubeSphere 安装指南

值得一提的是,KubeSphere 社区版与企业版之间支持无缝迁移,用户在完成社区版部署后,仅需更换 License 即可升级为企业版,无需重新安装或中断现有服务。

安装步骤

第一步:进入扩展市场

登录 KubeSphere 控制台,依次点击「工作台」→「扩展组件」,搜索关键词 Fluid

第二步:安装扩展组件

点击进入 Fluid 组件详情页,点击"安装"。

系统将自动部署相关资源,包括 Fluid Controller、核心 CRD 以及 缓存运行时组件

第三步:访问 Fluid 控制台

部署完成后,可通过控制台左上角的 Fluid 插件入口直接访问 Fluid 控制界面,进行数据缓存与加速管理。

更多上手指南请参考: 👉 Fluid 官方快速入门

Fluid 应用场景

1. AI 与大模型训练

在 AI 训练场景中,数据分布广、访问频繁。Fluid 能为训练节点提供近似本地磁盘的访问性能,有效提升训练效率并降低 I/O 等待时间。

2. 大数据分析

对于 Spark、Presto、Flink 等计算引擎,Fluid 通过缓存共享机制减少重复拉取数据的成本,显著缩短作业执行时长。

3. 科学计算与仿真

在 HPC 场景中,Fluid 让计算节点共享高速缓存层,突破传统存储性能瓶颈,实现更快的数据流转与任务迭代。

4. 多云与混合云数据访问

Fluid 支持跨集群数据编排,使企业能够在多云环境下实现一致的数据访问体验与智能调度策略。

结语

Fluid 入驻 KubeSphere Marketplace,标志着云原生数据编排与加速能力的生态化发展迈出关键一步。 未来,KubeSphere 将携手社区伙伴,持续推动开源生态的协同创新,助力更多企业构建高效、智能、可持续的云原生数据基础设施。

关于 Fluid

Fluid是一个开源的、原生Kubernetes的分布式数据集编排器和加速器,适用于大数据和人工智能等数据密集型应用。它由南京大学、阿里云、Alluxio联合发起,并成功进入云原生计算基金会(CNCF)作为沙盒项目托管。Fluid能够通过支持数据集操作,将分布式缓存系统(如Alluxio和JuiceFS)转换为具有自我管理、弹性伸缩和自我修复能力的可观测缓存服务。同时,通过数据缓存位置信息,Fluid可以为使用数据集的应用程序提供数据亲和性调度。

网站地址:https://fluid-cloudnative.github.io/

Fluid研究论文: Rong Gu, Kai Zhang, Zhihao Xu, et al. Fluid: Dataset Abstraction and Elastic Acceleration for Cloud-native Deep Learning Training Jobs. IEEE ICDE, pp. 2183-2196, May, 2022.

关于 KubeSphere

KubeSphere 是领先的云原生核心服务商青云科技于 2018 年推出的容器管理平台,致力于打造一个以 Kubernetes 为内核的云原生分布式操作系统,帮助企业快速构建健壮的容器云平台。目前,KubeSphere 逐步打造了完善的企业级云原生产品家族,并已服务来自金融、运营商、制造、能源、物流、教育等领域的上千家企业客户。

网站地址:https://kubesphere.io/zh/

相关推荐
阿里云云原生几秒前
AgentScope x RocketMQ:打造企业级高可靠 A2A 智能体通信基座
云原生·apache·rocketmq
新手小白*18 分钟前
K8s 中的 CoreDNS 组件
云原生·容器·kubernetes
Selegant1 小时前
告别传统部署:用 GraalVM Native Image 构建秒级启动的 Java 微服务
java·开发语言·微服务·云原生·架构
晚霞的不甘2 小时前
现代软件架构演进:从单体到云原生 + 代码实战详解
云原生
2501_924064113 小时前
2025年优测平台:微服务全链路性能瓶颈分析与最佳实践
微服务·云原生·架构·性能瓶颈·全链路性能
隐语SecretFlow5 小时前
【隐语Secretflow】一文速通基于可信执行环境 (TEE) 的零信任计算系统
云原生·kubernetes·开源
MarkHD5 小时前
车辆TBOX科普 第70次 AUTOSAR Adaptive、容器化与云原生的融合革命
云原生·wpf
测试人社区-小明5 小时前
测试领域的“云原生”进化:Serverless Testing
人工智能·科技·云原生·面试·金融·serverless·github
阿基米东5 小时前
Traefik:为云原生而生的自动化反向代理
运维·云原生·自动化
纷飞梦雪6 小时前
排查k8s连接mysql的pod
云原生·容器·kubernetes