DeepMind发布新模型Mirasol3B:更高效处理音频、视频数据

Google DeepMind日前悄然宣布了其人工智能研究的重大进展,推出了一款名为"Mirasol3B"的新型自回归模型,旨在提升对长视频输入的理解能力。该新模型展示了一种颠覆性的多模态学习方法,以更综合和高效的方式处理音频、视频和文本数据。

Google Research的软件工程师Isaac Noble和Google DeepMind的研究科学家Anelia Angelova共同撰写的博客文章中指出,构建多模态模型的挑战在于模态的异构性。他们解释说:"一些模态可能在时间上同步(例如音频、视频),但与文本不对齐。此外,视频和音频信号中的大量数据远远大于文本,因此在将它们结合在多模态模型中时,视频和音频通常无法完全消耗,需要进行不成比例的压缩。对于更长的视频输入,这一问题变得更加严重。"

多模态学习的新方法

为了解决这一复杂性,Google的Mirasol3B模型将多模态建模解耦为分开的自回归模型,根据模态的特性处理输入。"我们的模型包括一个用于时间同步模态(音频和视频)的自回归组件,以及一个用于不一定时间对齐但仍然是序列的模态(例如标题或描述)的单独的自回归组件,"Noble和Angelova解释道。

Google可能会探索在YouTube等领域应用该模型的可能性。作为全球最大的在线视频平台之一,YouTube是公司的主要收入来源之一。该模型理论上可以用于提升用户体验和参与度,例如生成视频的字幕和摘要,回答问题并提供反馈,创建个性化推荐和广告,以及让用户使用多模态输入和输出创建和编辑自己的视频。

例如,该模型可以基于视觉和音频内容生成视频的字幕和摘要,并允许用户通过关键词、主题或情感搜索和过滤视频。这有望提高视频的可访问性和可发现性,帮助用户更轻松快速地找到他们想要的内容。

该消息在人工智能社区引起了浓厚的兴趣和激动,同时也有一些怀疑和批评。一些专家赞扬了该模型的多功能性和可扩展性,并对其在各个领域的潜在应用寄予厚望。但也有人质疑为何没有提供代码、模型权重、训练数据甚至API。这引发了关于该技术在实际应用中的可行性的讨论。

这一宣布标志着人工智能和机器学习领域的重要里程碑,展示了Google在开发前沿技术方面的雄心和领导地位。然而,这也为AI的研究人员、开发者、监管机构和用户提供了一项挑战和机会,需要确保该模型及其应用符合社会的道德、社会和环境价值观和标准。

相关推荐
文浩(楠搏万)12 分钟前
用OBS Studio录制WAV音频,玩转语音克隆和文本转语音!
大模型·音视频·tts·wav·obs·声音克隆·语音录制
Mr.zwX4 小时前
【大模型】到底什么是Function Calling和MCP,以及和ReAct推理的关系是什么?
大模型·mcp协议
李师兄说大模型8 小时前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
Sherlock Ma8 小时前
百度开源文心一言4.5:论文解读和使用入门
人工智能·百度·自然语言处理·开源·大模型·文心一言·多模态
喜欢吃豆8 小时前
目前最火的agent方向-A2A快速实战构建(二): AutoGen模型集成指南:从OpenAI到本地部署的全场景LLM解决方案
后端·python·深度学习·flask·大模型
喜欢吃豆10 小时前
快速手搓一个MCP服务指南(九): FastMCP 服务器组合技术:构建模块化AI应用的终极方案
服务器·人工智能·python·深度学习·大模型·github·fastmcp
一 铭14 小时前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
静心问道1 天前
self-consistency:自洽性提升语言模型中的链式思维推理能力
人工智能·语言模型·大模型
胡耀超1 天前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析
DeepSeek-大模型系统教程1 天前
深入金融与多模态场景实战:金融文档分块技术与案例汇总
人工智能·ai·语言模型·程序员·大模型·大模型学习·大模型教程