腾讯云大数据

腾讯云大数据

AI Native数据湖的Spark+Ray一体化实践导读：AI / Agent 时代，数据平台的变化同时发生在数据、算力和训练范式上：数据从结构化、半结构化扩展到图片、视频、文本等多模态数据；计算从单一 CPU 转向 CPU + GPU 异构分布式；企业模型工作逐步转向基于私有数据的后训练。传统数据工程强调确定性和长期稳定，AI 系统则需要持续收集数据、观测结果和反馈，再进入下一轮训练与运行。

腾讯云大数据

从多模态数据处理到模型训练：腾讯云EMR-Ray打通Data+AI全流程一个多模态模型，从原始数据走到可训练状态，要经历多少步骤以视频理解为例，团队需要先从对象存储读取海量视频，再完成格式校验、切分、抽帧、音频提取、画质过滤、图文匹配、内容安全检测和 Caption 生成；随后把处理结果转换为训练集，交给 GPU 集群进行分布式训练；训练结束后，还要保存模型产物、部署推理服务，并持续观察资源与任务状态。

我是有底线的