今日,通义千问Qwen2.5-Omni-7B正式开源,作为通义系列首个端到端全模态大模型,它能够同时处理文本、图像、音频、视频等多类型输入,并实时生成文本与自然语音合成输出。在权威多模态融合任务OmniBench等测评中,Qwen2.5-Omni刷新业界纪录,在各个维度远超Google的Gemini - 1.5 - Pro等同类模型。
Qwen2.5-Omni以接近人类的多感官方式"立体"认知世界并与之实时交互,还能通过音视频识别情绪,在复杂任务中做出更智能、自然的反馈与决策。目前,开发者和企业可免费下载商用该模型,手机等终端智能硬件也能轻松部署运行。
Qwen2.5-Omni采用通义团队全新首创的Thinker - Talker双核架构、Position Embedding(位置嵌入)融合音视频技术以及位置编码算法TMRoPE(Time - aligned Multimodal RoPE)。Thinker - Talker双核架构赋予Qwen2.5-Omni人类的"大脑"和"发声器",形成端到端的统一模型架构,实现实时语义理解与语音生成的高效协同。具体来说,Qwen2.5-Omni支持多种输入形式,可同时感知所有模态输入,并以流式处理方式实时生成文本与自然语音响应。
得益于这些突破性创新技术,Qwen2.5-Omni在一系列同等规模的单模态模型权威基准测试中展现出全球最强的全模态优异性能,在语音理解、图片理解、视频理解、语音生成等领域的测评分数均领先于专门的Audio或VL模型,其语音生成测评分数(4.51)达到与人类持平的能力。
相较于动辄数千亿参数的闭源大模型,Qwen2.5-Omni以7B的小尺寸使全模态大模型在产业上的广泛应用成为可能,即便在手机上也能轻松部署和应用。当前,Qwen2.5-Omni已在魔搭社区和Hugging Face同步开源,用户也可在Qwen Chat上直接体验。
自2023年起,通义团队陆续开发了覆盖从0.5B到110B等参数的200多款"全尺寸"大模型,涵盖文本生成、视觉理解/生成、语音理解/生成、文生图及视频等"全模态",真正让普通用户和企业都能用得上、用得起AI大模型。截至目前,海内外AI开源社区中千问Qwen的衍生模型数量已突破10万,是公认的全球第一开源模型。
Qwen Chat免费体验:
chat.qwenlm.ai
百炼平台模型调用:
help.aliyun.com/zh/model-st...
Demo体验:
modelscope.cn/studios/Qwe...
开源地址:
huggingface.co/Qwen/Qwen2....
modelscope.cn/models/Qwen...
github.com/QwenLM/Qwen...