技术栈

多模态llm

AI架构师易筋
1 天前
人工智能·llm·多模态·多模态llm
多模态 LLM 与本地多模态检索 PoC:从原理到工程落地(图片 / 视频关键帧 / LaTeX 公式)本文目标:用 4 种难度梯度递增 的方式解释什么是多模态 LLM(Multimodal LLM),并系统说明 数学公式、图片、视频 在真实工程中如何被 存储、查询(检索)、创造(生成)。随后给出一套 本地可跑的多模态检索 PoC(FAISS + SQLite + OpenCLIP),包含 数据结构、向量库选型、索引参数、评估指标(Recall@K、nDCG、latency),以及可直接运行的最小 Repo 结构与用法。
我是有底线的