28 多模态(Multimodal)

多模态(Multimodal)

什么是多模态?

传统 LLM 只能处理文本,多模态模型(Multimodal / Vision Language Model,VLM)能同时理解多种输入类型:

类型 说明 代表模型
文本 + 图像 看图说话、图像分析 LLaVA、Qwen-VL、GPT-4o
文本 + 音频 语音识别 + 对话 Whisper + LLM
文本 + 视频 视频理解 Gemini 1.5

图像如何传给模型?

模型 API 不能直接收文件,图像有两种传递方式:

方式一:URL(模型从网上拉取图像)

复制代码
https://example.com/image.jpg

方式二:Base64(把图片编码成字符串,嵌进请求体)

复制代码
data:image/jpeg;base64,/9j/4AAQSkZJRgABA...
base64 编码
py 复制代码
import base64

with open("image.jpg", "rb") as f:
    data = base64.b64encode(f.read()).decode("utf-8")

url = f"data:image/jpeg;base64,{data}"

LangChain 封装了这两种方式,通过 HumanMessage 的 content 字段传入结构化列表:

py 复制代码
from langchain_core.messages import HumanMessage

message = HumanMessage(content=[
    {"type": "image_url", "image_url": {"url": "https://..."}},
    {"type": "text", "text": "这张图里有什么?"},
])

示例代码

py 复制代码
def ask_vision(llm: ChatOpenAI | ChatOllama, image_url: str, question: str):
    messages = [
        HumanMessage(
            content=[
                {"type": "image_url", "image_url": {"url": image_url}},
                {"type": "text", "text": question},
            ]
        )
    ]
    result = llm.invoke(messages)
    return result.content

def main():
    env = validate_env()
    if not env:
        return
    _, _, _, embedding_api_key, embedding_base_url, _ = env

    local_llm = ChatOllama(model="llava:7b")

    cloud_llm = ChatOpenAI(
        model="Qwen/Qwen3-VL-8B-Instruct",
        api_key=embedding_api_key,
        base_url=embedding_base_url,
    )
    q_arr = ["有什么颜色?", "有几个物体?"]
    for q in q_arr:
        image_url = describe_image(image_path)
        print(ask_vision(cloud_llm, image_url, q))
相关推荐
东姬AI6 天前
迪士尼联手Adobe自训“片场专用“AI模型:当内容工业按下生产线开关,角色“开口“这道工序还没自动化
大模型·数字人·多模态·ai视频生成·内容生产
liferecords7 天前
不训练一个参数,把图像编辑器变成视频编辑器:EditVid 的局部-全局拆解术
人工智能·llm·aigc·多模态
山顶夕景16 天前
【VLM】VideoChat-A1:用镜头链推理CoS思考长视频
cos·多模态·视频理解·长视频
Rocky Ding*17 天前
深入浅出Xiaomi-Lens-0技术解析:像素监督如何改变视觉推理
论文阅读·人工智能·深度学习·机器学习·aigc·多模态·ai-native
HySpark24 天前
视觉多模态效果不佳怎么办?从画面质量到音视频融合的工程优化实践
opencv·计算机视觉·语音识别·多模态·音视频融合
山顶夕景1 个月前
【Jev】多模态Jev决策模型
大模型·多模态·jev·决策模型
nap-joker1 个月前
脑衰老的多模态特征:从描述性分析到基于机器学习的整合
人工智能·机器学习·多模态
救救孩子把1 个月前
AI面试八股文-12_11-多模态大模型面试题
人工智能·面试·职场和发展·多模态·clip·rag·llave
Web3&Basketball1 个月前
实测Gemini4Argon:ERQA 87%登顶长程任务榜
数据库·python·大模型·多模态·gemini·长上下文·推理优化