DeepMind发布新模型Mirasol3B:更高效处理音频、视频数据

Google DeepMind日前悄然宣布了其人工智能研究的重大进展,推出了一款名为"Mirasol3B"的新型自回归模型,旨在提升对长视频输入的理解能力。该新模型展示了一种颠覆性的多模态学习方法,以更综合和高效的方式处理音频、视频和文本数据。

Google Research的软件工程师Isaac Noble和Google DeepMind的研究科学家Anelia Angelova共同撰写的博客文章中指出,构建多模态模型的挑战在于模态的异构性。他们解释说:"一些模态可能在时间上同步(例如音频、视频),但与文本不对齐。此外,视频和音频信号中的大量数据远远大于文本,因此在将它们结合在多模态模型中时,视频和音频通常无法完全消耗,需要进行不成比例的压缩。对于更长的视频输入,这一问题变得更加严重。"

多模态学习的新方法

为了解决这一复杂性,Google的Mirasol3B模型将多模态建模解耦为分开的自回归模型,根据模态的特性处理输入。"我们的模型包括一个用于时间同步模态(音频和视频)的自回归组件,以及一个用于不一定时间对齐但仍然是序列的模态(例如标题或描述)的单独的自回归组件,"Noble和Angelova解释道。

Google可能会探索在YouTube等领域应用该模型的可能性。作为全球最大的在线视频平台之一,YouTube是公司的主要收入来源之一。该模型理论上可以用于提升用户体验和参与度,例如生成视频的字幕和摘要,回答问题并提供反馈,创建个性化推荐和广告,以及让用户使用多模态输入和输出创建和编辑自己的视频。

例如,该模型可以基于视觉和音频内容生成视频的字幕和摘要,并允许用户通过关键词、主题或情感搜索和过滤视频。这有望提高视频的可访问性和可发现性,帮助用户更轻松快速地找到他们想要的内容。

该消息在人工智能社区引起了浓厚的兴趣和激动,同时也有一些怀疑和批评。一些专家赞扬了该模型的多功能性和可扩展性,并对其在各个领域的潜在应用寄予厚望。但也有人质疑为何没有提供代码、模型权重、训练数据甚至API。这引发了关于该技术在实际应用中的可行性的讨论。

这一宣布标志着人工智能和机器学习领域的重要里程碑,展示了Google在开发前沿技术方面的雄心和领导地位。然而,这也为AI的研究人员、开发者、监管机构和用户提供了一项挑战和机会,需要确保该模型及其应用符合社会的道德、社会和环境价值观和标准。

相关推荐
美林数据Tempodata3 小时前
美林数据用大模型重构电能质量评估,让隐蔽合规问题无所遁形
重构·大模型
胡耀超1 天前
我们如何写好提示词、发挥LLM能力、写作指南:从认知分析到动态构建的思维方法
人工智能·python·学习·大模型·llm·提示词·八要素思维
文浩(楠搏万)1 天前
XTTS实现语音克隆:精确控制音频格式与生成流程【TTS的实战指南】
大模型·tts·克隆·语音·声音克隆·音色·xtts
您的通讯录好友2 天前
TechGPT2部署
linux·人工智能·python·大模型·techgpt
之之为知知2 天前
Chromadb 1.0.15 索引全解析:从原理到实战的向量检索优化指南
人工智能·深度学习·机器学习·大模型·索引·向量数据库·chromadb
想躺平的咸鱼干2 天前
大模型开发
ai·大模型·ai应用开发技术架构
ATM0063 天前
MetaGPT源码剖析(三):多智能体系统的 “智能角色“ 核心实现——Role类
人工智能·大模型·agent·源码剖析·metagpt
贾全4 天前
【中文翻译】SmolVLA:面向低成本高效机器人的视觉-语言-动作模型
人工智能·机器人·大模型·vla·smolvla
小新学习屋4 天前
大模型就业方向
人工智能·深度学习·大模型·就业