技术栈

跨模态对齐

thesky123456
20 天前
视频·语音·智能体·视觉理解·多模态agent·跨模态对齐·具身
智能体面试准备(二十五):多模态 Agent——图文、语音、视频输入的感知融合与决策上一篇《GUI 智能体与 Computer Use》讲的是让 Agent 学会看屏幕、点鼠标,本质上已经踩进了"视觉输入"的门槛。顺着这条线再往下走一层,就是一个更底层的命题:Agent 能不能"看懂"世界——不只是看懂界面控件,而是看懂图片、听懂语音、理解视频。这是 B 系列第二十五篇。纯文本 Agent 的能力上限受限于"用户能打多少字"——而真实业务里,大量信息在图片、语音、视频、表格、PDF 里。2024 年之后,多模态大模型(VLM,见 A14)成熟,让 Agent 从"读文字的秘书"变成"看得
m0_65010824
10 个月前
论文阅读·开源·视觉语言大模型·minigpt-4·跨模态对齐·强llm+视觉对齐
MiniGPT-4:解锁 LLM 驱动的高级视觉语言能力在 GPT-4 展现出惊人的多模态能力后,其技术细节的保密特性激发了科研界的探索热情。MiniGPT-4 作为一款开源的视觉 - 语言模型,通过极简的架构设计实现了与 GPT-4 相似的核心能力,为我们揭示了高级大语言模型(LLM)在多模态领域的巨大潜力。
我是有底线的