PersonaVLM: Long-Term Personalized Multimodal LLMs
最近读了一篇我觉得非常有意思的 CVPR 2026 Highlight：
PersonaVLM: Long-Term Personalized Multimodal LLMs
来自南京大学和字节跳动。
这篇论文关注的问题其实特别现实：
现在的大模型越来越聪明，但它真的"了解你"吗？
GPT-4o、Qwen 这类模型可以看图、聊天、推理，甚至一次塞进去十几万 token 的历史对话。
但问题是：
你半年前喜欢什么、最近兴趣发生了什么变化、你习惯什么样的回答方式、你过去发给它的照片里那个人是谁......
这些东西，大模型往往并没有真正形成一个长期、动态的"你"。
PersonaVLM 就是在尝试解决这个问题。
它想做的不是一个更大的 VLM，而是：
把一个通用多模态大模型，变成一个真正能长期了解用户的 Personalized Agent。
01｜为什么"上下文越长"还不够？
很多人第一反应可能是：
现在模型都有 128K、甚至更长上下文了，把以前聊天记录全部塞进去不就行了吗？
PersonaVLM 认为不够。
举个论文中的例子。
一个用户以前说：
我压力大的时候喜欢喝 Sprite。
过了一段时间以后，他的偏好发生变化：
最近更喜欢 Coca-Cola。
再过一阵，他问 AI：
今天压力有点大，有什么建议？
一个普通的 RAG 系统如果检索出了旧记忆，就可能告诉他：
"你以前压力大的时候会喝 Sprite，可以试试。"
问题来了：
它记住了你，但记住的是"过去的你"。
另外，即使它知道正确的信息，如果用户本身偏内向、容易焦虑，一个非常外向、热情甚至"打鸡血"式的回答，也可能并不适合这个人。
所以长期个性化其实有两个问题：
第一：记忆要跟着人变化。
第二：回答方式也要跟着人变化。
这就是 PersonaVLM 想解决的核心。
02｜PersonaVLM 到底做了什么？
我觉得可以把整篇论文浓缩成三个 R：
Remembering：记住你
Reasoning：利用关于你的记忆进行推理
Response Alignment：按照"你的特点"回答你
论文把这三个能力称为 PersonaVLM 的核心能力。
但真正有意思的，是它没有简单地搞一个：
对话 → Embedding → 向量数据库 → Top-K 检索
而是搭了一套比较完整的Personalized Memory Architecture。
03｜AI 的记忆，也被分成了 4 类
PersonaVLM 设计了四种长期记忆：
① Core Memory：核心记忆
存用户最基础的信息，例如：
- 姓名
- 身份
- 兴趣
- 长期偏好
- 对 Agent 的要求
简单理解就是：
"你是谁？"
② Semantic Memory：语义记忆
存不依赖某一次具体事件的知识，例如：
- 你喜欢什么
- 你的职业是什么
- 你养了一只什么宠物
- 某张照片中的人是谁
- 某件物品是什么
它甚至支持视觉概念记忆。
比如：
你发一张朋友的照片说：
"记住，这是我的朋友 A。"
以后再看到相关图片，系统可以利用这部分长期记忆。
③ Episodic Memory：情景记忆
这个很好理解：
"你过去发生过什么？"
它会把过去的对话按照事件和主题整理，并保留：
- 时间
- 摘要
- 关键词
- 原始对话索引
例如：
上周五，你和朋友 A 去某家店吃了三明治和 Coke。
以后你问：
"我上周五和他吃了什么？"
系统就可以把对应事件找出来。
④ Procedural Memory：程序性记忆
这部分存的是：
- 长期目标
- 计划
- 重复行为
- 日常习惯
比如：
你正在准备博士申请。
或者：
你每周末固定跑步。
所以它更像是在回答：
"你长期在做什么？"
四种记忆加起来，大概就是：
你是谁 + 你知道什么 + 你经历过什么 + 你平时怎么做事。
04｜但我认为真正有意思的，不是"分了四类记忆"
因为 Core / Semantic / Episodic / Procedural 这种分类，本身并不是完全新的概念。
PersonaVLM 更有意思的一点是：
它让模型学会"什么时候查记忆、查什么、查哪个时间段"。
普通 RAG 很多时候是：
Query → Retrieval → Answer
而 PersonaVLM 更像：
Query → Reasoning → 判断是否需要查记忆 → 判断查哪个时间 → 确定关键词 → Retrieval → 继续 Reasoning→ Answer
比如用户问：
"我上个月提到的那个东西怎么样了？"
这里有两个难点：
一个是 "那个东西"到底是什么；
另一个是 "上个月"是一个时间约束。
PersonaVLM 不只是直接做一次相似度检索，而是先推理，再产生：
time period + keywords
然后从 Semantic / Episodic / Procedural Memory 中检索，再继续推理。
而且一次不够的话，可以继续检索，形成一个多步过程。
这其实已经非常接近现在 Agent 领域越来越常见的一种思路：
Memory 不只是数据库，而是 Agent 可以主动操作的工具。
05｜它甚至会尝试判断"你是什么性格"
这一部分我觉得既有意思，也值得讨论。
PersonaVLM 用的是心理学里面非常经典的 Big Five / OCEAN：
- Openness：开放性
- Conscientiousness：尽责性
- Extraversion：外向性
- Agreeableness：宜人性
- Neuroticism：神经质
系统会根据每一轮用户交互，推测一个新的五维 personality vector。
但它不会直接覆盖之前的人格，而是通过一个类似 EMA 的机制慢慢更新：
\ p_m = \\lambda p_{m-1} + (1-\\lambda)p'_m \\
也就是说：
刚认识你的时候，它变化得比较快；
聊得越来越久之后，它对你的判断会越来越稳定。
作者把这个叫：
Personality Evolving Mechanism，PEM。
目的就是避免：
你某一天心情不好说了两句话，AI 就突然觉得"这个人的人格彻底变了"。
它试图建模的是：
人格具有稳定性，但也不是永远固定不变。
06｜于是 PersonaVLM 形成了一个闭环
整套系统其实特别像一个长期运行的个人 Agent：
用户输入文字/图片
↓
读取当前 User Profile
↓
判断是否需要历史记忆
↓
多步检索 + 推理
↓
生成个性化回答
↓
本轮交互结束
↓
提取新的长期记忆
+
更新 Personality
↓
下一次继续使用作者把它拆成两个阶段：
Response Stage
负责：
查记忆 → 推理 → 回答
Update Stage
负责：
更新记忆 → 更新 Personality
而且 Update 是在回复以后异步执行的。
这一点很重要。
因为它意味着 Agent 不只是：
"使用历史"
而是在不断：
形成关于这个用户的新状态。
07｜PersonaVLM 本身不是从零训练的大模型
这一点也很容易误解。
PersonaVLM 的 backbone 是：
Qwen2.5-VL-7B。
也就是说：
PersonaVLM ≠ 一个和 Qwen、GPT-4o 平级的新基础模型。
更准确地说是：
Qwen2.5-VL-7B + Personalized Memory + Agentic Retrieval + Personality Modeling + Post-training
作者做了两阶段训练。
第一阶段是 SFT。
使用约 78K synthetic samples，训练模型学会：
- Memory CRUD
- Personality inference
- 多步 reasoning
- Retrieval action
第二阶段使用 GRPO 做 RL，让模型进一步学习多步检索和推理。
RL 中还用了 Qwen3-30B-A3B 作为 LLM-as-a-Judge，对结果的准确性和 reasoning consistency 打分。
所以如果非要用一个比较直观的比喻：
Qwen2.5-VL 是"大脑"，PersonaVLM 教会这个大脑如何长期认识一个人。
08｜他们还专门造了一个长期个性化 Benchmark
作者认为现在很多 personalization benchmark 有两个问题：
太静态 + 太文本化。
所以他们提出了：
Persona-MME
它包含：
- 2000+ 测试案例
- 32K / 128K 两种上下文
- 7 个维度
- 14 个细粒度任务
覆盖：
- Memory
- Intent
- Preference
- Behavior
- Relationship
- Growth
- Personality Alignment
等长期 personalization 能力。
我觉得这里有一个特别值得注意的词：
Growth
因为传统推荐或者用户建模经常问：
"这个用户喜欢什么？"
但长期 Agent 其实还需要问：
"这个用户现在和以前有什么不同？"
也就是：
User Modeling 从 static preference 开始走向 user evolution。
这可能才是长期个性化 Agent 真正困难的地方。
09｜实验结果怎么样？
结果挺有意思。
在 128K Persona-MME 上：
- GPT-4o：69.23
- Qwen2.5-VL-7B + RAG：59.01
- PersonaVLM-SFT：67.18
- PersonaVLM-RL：71.05
也就是说，一个基于 7B Qwen2.5-VL 做出来的个性化 Agent，在这个 benchmark 上超过了 GPT-4o。
但是这里一定要注意：
这不代表 PersonaVLM "综合能力超过 GPT-4o"。
实际上，在纯 Memory Recall 上：
128K 情况：
- GPT-4o：84.44
- PersonaVLM：69.28
GPT-4o 依然明显更强。
PersonaVLM 的优势主要出现在：
- Intent
- Behavior
- Relationship
- Growth
尤其是 Growth Modeling：
- GPT-4o：76.64
- PersonaVLM：87.97
所以更合理的结论应该是：
PersonaVLM 不是基础能力超过 GPT-4o，而是在"长期用户建模"这一专门任务上，通过结构设计弥补了模型规模差距。
我觉得这是这篇论文一个很值得关注的结果。
10｜一个很反直觉的结果：RAG 不一定有用
论文还有一个结果我很喜欢。
作者给 Qwen2.5-VL 做了一个普通 RAG baseline：
每次检索 Top-5 相关历史消息。
结果发现：
在某些短上下文条件下，
RAG 反而会让 Preference Understanding 下降最多 9.33%。
而到了长上下文场景，RAG 才带来明显收益。
这个现象其实特别符合长期用户建模的问题：
"找到了相关历史" ≠ "找到了现在仍然有效的历史"。
比如：
去年：
我最喜欢 Sprite。
今年：
最近彻底戒掉 Sprite 了。
普通向量检索可能两个都能搜出来。
所以 Personalized Memory 真正的问题并不只是：
Recall。
而是：
Recency + Temporal Reasoning + Conflict Resolution + Preference Evolution。
这也是我觉得 PersonaVLM 相比"加一个向量数据库"更值得看的地方。
11｜消融实验也说明了：Episodic Memory 很重要
作者把几种 memory 分别移除。
32K Persona-MME：
完整 PersonaVLM：
71.48
去掉 Core：
69.80
去掉 Procedural：
70.33
去掉 Semantic：
69.71
但去掉 Episodic Memory：
直接掉到：
59.07
下降 12.41 个点。
128K 时去掉 Episodic Memory 也下降了约 5.19 个点。
这其实非常值得思考。
长期个人 Agent 最有价值的信息，很可能并不只是：
"用户喜欢咖啡。"
而是：
"什么时候、为什么、在什么情境下，他说过什么、做过什么。"
也就是：
event-based user modeling。
12｜PersonaVLM 也并不是没有问题
作者在补充材料里自己承认了几个 limitation。
第一：
目前主要是图像 + 文本，还不能真正处理视频中的人物识别/跟踪，也没有完整音频长期建模。
第二：
PersonaVLM 的能力上限仍然受 backbone 限制。
也就是说：
Personalized Agent 设计再好，底层 Qwen2.5-VL-7B 看不懂的问题，它还是看不懂。
第三，也是我觉得最关键的一点：
它的 Memory 目前主要还是 timeline-based。
不同时间发生的多个 Episodic Memory，并没有真正建立复杂联系或者自动融合。
比如：
3 月：开始准备跑步
5 月：膝盖受伤
7 月：减少跑步
9 月：改成游泳一个真正强的 Personal Agent 不应该只是保存四段 memory。
而应该逐渐形成：
跑步 → 膝盖受伤 → 运动偏好改变 → 游泳成为新的长期习惯
也就是从：
Memory Storage
进一步走向：
Memory Graph / Memory Consolidation / User State Modeling。
我觉得这里反而留下了很多可以继续做的研究空间。
13｜我怎么看这篇论文的定位？
读完以后，我觉得 PersonaVLM 这个名字多少有点容易让人误会。
你可能以为它的重点是：
"VLM 怎么做得更强？"
其实不是。
它真正研究的是：
Long-Term Personalized Multimodal Agent
它位于这样一条技术线上：
LLM / MLLM
↓
Long-term Memory
↓
User Modeling
↓
Personalized Agent而不是传统 VLM 那种：
Vision Encoder
↓
Multimodal Alignment
↓
视觉理解 / OCR / VQA所以我觉得它最值得看的并不是"多模态模型结构"，而是：
当 AI 从一个工具变成长期 Agent 后，它应该怎样维护"关于一个人的状态"。
这也是未来 Agent personalization 一个非常核心的问题。
14｜最后，用一句话总结 PersonaVLM
如果以前的大模型是：
"我能回答你的问题。"
那么 PersonaVLM 想做的是：
"我知道你是谁、记得你经历了什么，也知道现在的你已经和以前不一样了，所以我要以适合你的方式回答你。"
从"智能"走向"长期理解一个人"，可能才是 Personal Agent 下一阶段真正难的问题。
论文：PersonaVLM: Long-Term Personalized Multimodal LLMs
会议：CVPR 2026 Highlight
Backbone：Qwen2.5-VL-7B
代码：MiG-NJU/PersonaVLM: CVPR 2026 Highlight PersonaVLM: Long-Term Personalized Multimodal LLMs
关键词：
Personalized Agent / Multimodal LLM / Long-term Memory / User Modeling / Personality Alignmen