AI云原生笔记

1


这是阿里云云原生 AI 套件能力架构图。它为用户提供四个部分能力来匹配云原生 AI 工程不同阶段和业务属性。

层级划分:从下到上依次是 IaaS、K8s、AI 基础设施、AI 开发引擎、AI 工程管理以及 PaaS 层。

IaaS:最底层的基础公有云设施。

K8s 层:提供 ACK Pro、ACK Serverless、ACK Edge、ACK 版这些云原生容器服务。

AI 基础设施:包含资源管理、存储、网络以及镜像服务,提供包括本地盘、NAS、OSS 等存储选项,以及 EIP、负载均衡等网络能力,还有镜像仓库来管理 AI 相关镜像。

AI 开发引擎:

训练引擎:涵盖 Kubeflow、PyTorch、TensorFlow 等主流深度学习框架,支持单机、分布式训练,提供弹性扩缩容以及训练加速优化能力。

推理引擎:支持 TensorRT、ONNX Runtime 等,提供模型转换、优化,支持多框架模型统一部署,包含在线推理、批量推理等多种推理方式。

数据处理引擎:支持 Spark、Flink 等,可以进行数据接入、预处理、特征工程以及数据版本管理。

AI 工程管理:

项目管理:提供工作空间、成员管理以及权限分配。

资产管理:管理数据集、模型、镜像等资产,支持版本化管理以及溯源。

流程编排:支持通过 DAG 工作流编排训练、推理、数据处理任务,支持定时调度以及事件触发。

运维监控:提供训练任务监控、推理服务监控,支持日志采集、指标监控以及告警。

PaaS 层:面向不同用户角色和业务场景提供能力:

面向 AI 用户:提供 Arena CLI、Arena SDK,方便用户提交、管理训练任务。

面向算法开发者:提供在线开发环境、模型调试工具以及模型评估能力。

面向 AI 应用开发者:提供应用模板、部署流水线以及灰度发布能力。

面向 AI 平台管理者:提供多租户管理、资源配额以及计量计费能力。





2











3

相关推荐
MobotStone37 分钟前
从“听得懂”到“干得了”:工业大模型落地工厂的三层进化路线
人工智能
wangruofeng1 小时前
GLM-5.3-Flash 发布:追平 Opus 4.8 的智力,1/40 的价格,跑在国产芯片上
人工智能·aigc·chatglm (智谱)
皮皮虾❀3 小时前
钉钉AI服务商×教育行业:AI现代产业学院共建一体化实战——从“高校AI教学缺平台”到“校企共建AI产业学院培养数字化人才
人工智能·钉钉
xian_wwq4 小时前
【学习笔记】-深度认知系列-第2讲-大模型到底是什么?——拆解“参数、训练、推理”
笔记·学习·深度认知
火山引擎开发者社区4 小时前
【议程来了】火山引擎开发者社区技术日・NVIDIA 独家赞助-成都站
人工智能
三声三视4 小时前
从崩溃日志到 AI 技能:tri-god 蒸馏实战
人工智能·ai·aigc·agent
ZGIAI4 小时前
ZGI Workflow 并发控制:保护下游接口
人工智能·架构
richard_first4 小时前
Transformer 与大语言模型:第9章 LayerNorm 归一化层
人工智能·深度学习·机器学习·transformer
ZGIAI4 小时前
知识库有结果,不等于召回率合格
人工智能·架构
东小西4 小时前
【SAA实战】第 1 篇:ReactAgent 入门——先撸个"会调工具的助手"跑起来
java·人工智能·spring