摘要
多模态学习涉及整合文本、图像、音频和视频等多种模态信息,对视觉问答、跨模态检索和字幕生成等复杂任务至关重要。传统方法依赖模态特定编码器和后期融合技术,限制了其适应新任务或模态的可扩展性和灵活性。为解决这些问题,本文提出了一种新颖框架,将自然语言处理(NLP)中的任务重构思想扩展至多模态学习领域。
核心方法
通过将多样化多模态任务重新定义为统一的下一帧预测问题,该框架允许单一模型处理不同模态而无需模态专用组件。所有输入和输出均被视为视频中的连续帧,从而实现模态无缝集成和跨任务知识迁移。
实验验证
在文本到文本、图像到文本、视频到视频、视频到文本及音频到文本等任务上的实验表明,该模型能以最小适配成本实现跨模态泛化。研究证实,任务重构可显著简化多模态模型设计,为通用多模态基础模型奠定基础。
技术贡献
- 统一架构:消除模态专用组件,通过视频序列化实现多模态统一处理。
- 灵活适配:支持动态扩展新模态,仅需调整输入帧序列化策略。
- 性能验证:在5类跨模态任务中均展现竞争力,代码与模型已开源。
更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)
公众号二维码