技术栈
腾讯云大数据
腾讯云大数据
2 小时前
人工智能
·
云计算
·
腾讯云
·
mapreduce
·
腾讯云大数据
从多模态数据处理到模型训练:腾讯云EMR-Ray打通Data+AI全流程
一个多模态模型,从原始数据走到可训练状态,要经历多少步骤以视频理解为例,团队需要先从对象存储读取海量视频,再完成格式校验、切分、抽帧、音频提取、画质过滤、图文匹配、内容安全检测和 Caption 生成;随后把处理结果转换为训练集,交给 GPU 集群进行分布式训练;训练结束后,还要保存模型产物、部署推理服务,并持续观察资源与任务状态。
我是有底线的