AI Native基础设施的目标形态和它存在的一些挑战有哪些?K8s驱动异构算力面临挑战,下一代的K8s是渐进式优化,还是革命式的驱动AI的发展

K8s是非常成熟、生态也非常丰富的基础设施,可以搭建好用的训练和推理集群,但在AI应用场景中需要进一步优化,可在K8s基础上,构建对AI训练或者推理更友好生态。一些开源项目为AI推理提供用户友好的抽象(如Pod、Deployment、root角色),并实现缓存感知与负载均衡调度。

------ 杨珂 趋境科技技术专家/Mooncake核心开发者

百分之百的同学每天都在重度的在使用AI,很多本科生也会参与K8s等基础设施学习和探索中。但学校存在资源不足(缺卡),学生理解K8s如何搭建AI技术架构有gap。

------ 沃天宇openeFuyao社区技术委员会委员/北京航空航天大学软件学院教授

一种就是K8s逐渐去改进、逐渐去优化;另外一种就是bottom-up再出来一个新东西------现在革命者已经在那里了,e2b就是革命者,e2b没有用任何K8s的技术。

K8s的核心就两点:抽象和声明式架构一定要在沙箱的新型负载来了之后,快速前进,否则有可能会被后来居上。

------ 嘉宾 朱浩鹏社区顾问/华为Fellow

在AI时代,K8s对硬件的抽象仍然具有很强的延伸性和弹性,但在调度和敏捷性方面需要适当地"退化"。

一种选择是:让K8s回归底层资源池的基础,在其之上,构建一层更加亲和AI工作负载的敏捷管理层,专门负责Quota控制、沙箱隔离保障以及精细化资源配给。这种分层架构更贴合AI场景的实际需求。

------ 胡昊openFuyao技术委员会主席

K8s 的上层API和抽象在AI Native时代仍然是有必要的,核心抽象并没有问题,只是需要在调度侧加入AI Native的方式。首先要对 workload(负载)进行重新定义------因为AI Native的workload与之前K8s定义的微服务workload已经不同。完成重新定义之后,再去审视需要革新或优化的方面,例如调度、以及网络相关负载的优化。

------ 雷超vllm-ascend社区Maintainer

相关推荐
兔兔爱学习兔兔爱学习3 分钟前
DeepSeek-V4.1-Flash:突破 KV 缓存压缩的极限
人工智能
Raas1004 分钟前
MAI Gateway(魔芋企业级AI网关)能力解析:AI网关支持DeepSeek吗?AI网关核心功能详解
人工智能·网关·ai网关·mai gateway·企业级产品
zhangfeng11339 分钟前
昇腾 950PR/950DT 新增regbase 编程方式和MemBase SIMD/SIMT 混合编程模型
人工智能·华为·ai编程·npu·cann
JoyCong199811 分钟前
鸿蒙用户等来的是ToDesk:折叠屏适配、星闪笔、互动Tab一次补齐
人工智能·智能手机·电脑·鸿蒙·鸿蒙系统·远程工作·ipad
飞猫的边缘AI12 分钟前
边缘AI时事:从豆包手机二代和Rokid×WorkBuddy联名AI眼镜看AI智能体进终端的必然与边界
人工智能·ai智能体·rokid眼镜·workbuddy·豆包手机二代
艾醒(AiXing-w)13 分钟前
LangChain 1.0 智能体开发(三):Agent 记忆管理——从短期对话到跨会话长期记忆
数据库·人工智能·langchain
知几蜗牛14 分钟前
部署大模型别先选GPU,先回答你愿意承担多少运维
人工智能
知几蜗牛15 分钟前
AI写了80万行Rust,最值得学的却是它花十倍精力读代码
人工智能
天云数据16 分钟前
OPC保姆级指南:被优化的第四个月,我在图书馆里想好了开家公司
人工智能
知几蜗牛16 分钟前
语音AI为什么总抢话?用VAD和打断机制做对实时对话
人工智能