小罗碎碎念
文献来源：本文基于Chunze Yang, Qidong Liu等学者（西安交通大学计算机科学与技术学院、腾讯Jarvis实验室、剑桥大学）2026年发表的论文《PathNavigate: A Training-Free Pathology Agent with Surprise-Guided Scan and Shared Slide Memory for Whole-Slide Image VQA》整理与解读。
一张全切片图像（Whole-Slide Image, WSI）动辄数十亿像素，病理医生需要在其中定位病灶、判断分型，而全切片图像视觉问答（WSI-VQA）技术，就是要让AI像医生一样，自主规划观察路径、找到证据并用自然语言回答临床问题。
作为数字病理的核心方向之一，WSI-VQA早已不是新鲜概念，但行业始终卡在两个难以突破的困境里。
一类是有监督的病理大模型，比如SlideChat、WSI-LLaVA等，它们把定位和推理能力都训练进模型里，效果虽好却高度依赖任务专属的标注数据，每换一个病种、换一套诊断流程就要重新训练，部署成本高、灵活性差。
另一类是免训练病理智能体，核心模型全程冻结不用重训，靠推理时的策略来导航切片，代表是PathAgent；但这类方法普遍遵循"问题优先"的设计------先根据问题描述去全局搜索匹配的区域，可病理问题往往不会把所有关键视觉特征都说出来：比如问"组织学类型是什么"，答案其实取决于浸润性导管的形态结构，但问题本身并不会提到这个关键词。
这就导致AI很容易漏掉真正决定性的病灶，只能靠多轮反思、外部知识库来补全，最终系统越来越复杂、延迟越来越高。
一边是训练成本高难以落地，一边是免训练却找不到重点，病理AI似乎陷入了两难。
位了解决上述问题，西安交通大学、腾讯Jarvis实验室与剑桥大学联合提出了PathNavigate，它没有在模型规模上卷参数，而是试图改变AI读片的逻辑：先扫描整张切片建立全局异常认知，再带着问题在可疑区域里精准搜索，最后用同一份记忆给出答案。
这套名为"扫描-搜索-读出"的免训练方案，不仅大幅提升了回答准确率，还让证据路径更可解释、系统更轻量。
PathNavigate全流程解析
第一阶段是左侧的惊喜引导扫描，核心依托底部的共享在线记忆模块运行。
系统先在低放大倍率下将整张病理切片划分为多个图像块，通过在线记忆的自监督重建机制计算每个区块的惊喜度得分，最终生成覆盖全片的惊喜热力图，颜色越深代表该区域与当前切片的正常组织特征差异越大、异常概率越高；
经过阈值筛选与空间非极大值抑制，系统会从扫描的全部图块中保留十余个空间分散的可疑候选区域，这一阶段完全基于切片自身内容建立异常基线，不依赖问题文本的引导，从根源上避免了问题描述不全导致的关键病灶漏检。
中间的任务条件搜索阶段，是从粗筛到精准聚焦的核心步骤。
此时系统才正式引入临床问题；例如"帮助病理医生预测组织学类型"，但并不会重新开展全局检索，而是仅在第一阶段产出的候选区域池内，通过视觉语言模型计算每个候选区域与问题文本的相关性得分，再将惊喜度得分与问题相关性得分分别做池内归一化后加权融合，按综合得分重新排序，选出排名最靠前的重点区域作为高倍观察目标。
右侧的证据提取与问答阶段负责输出最终诊断结论。
系统会将选中的目标区域放大至高倍率，在每个区域内再次通过局部惊喜评分筛选出最具诊断价值的图像块；
由感知器模块转化为带坐标标注、带形态特征描述的结构化证据，同时结合扫描阶段生成的导航摘要与可选的参考病例档案，最终由裁判器综合局部病灶证据、全片扫描背景与参考信息，输出清晰的诊断结果；
例如图中判定的乳腺浸润性导管癌。整套流程由同一个共享在线记忆贯穿始终，所有视觉与语言基础模型全程保持冻结、无需任务专属训练，不仅诊断路径清晰可追溯，也兼具轻量化与高可部署性的优势。
MedX知识岛
看完一篇好论文，下一步该做什么？找代码、查数据，还是尝试复现？
在MedX知识岛，既有医学AI领域最新的顶刊复现，也有最全面的公开代码和数据库查询系统！
注册登录即可免费探索，让医工交叉领域的前沿探索不再为代码和数据所困！
一、PathNavigate的创新逻辑
PathNavigate最核心的突破，是把病理医生的诊断思维搬进了AI系统。
资深病理医生读片，从来不会一上来就盯着问题找细节，而是先低倍镜扫完整张切片，在脑子里形成"这张切片哪里不正常"的整体印象，再聚焦可疑区域高倍细看，最后综合判断。
传统免训练AI刚好反过来：先拿问题去匹配图像，匹配不到就容易跑偏。
这一顺序的调换，正是本质的差异。
传统"问题优先"的思路，是用问题定义搜索范围，相当于"拿着参考答案找题目"，一旦问题描述不全就会漏检；而PathNavigate的"扫描优先"思路，是先建立切片专属的异常基线，让所有可疑区域都进入候选池，问题只用来在池子里做优先级排序。
支撑这套逻辑的核心，是三个环环相扣的设计：
- 共享在线记忆（Shared Online Memory） 贯穿全程，既是扫描时判断"异常"的标尺，也是答题时的全局背景；
- 惊喜引导扫描（Surprise-Guided Scan） 用"意外程度"衡量病灶可能性，不依赖问题关键词；
- 任务条件搜索 只在候选池内做问题相关性重排，既精准又不遗漏。
整套系统所有视觉模型、语言模型全部冻结，不需要任何任务特定的训练，真正做到"拿来就能用"。
二、三步读懂一张切片
惊喜引导扫描
扫描阶段的目标，是在低倍镜下把整张十亿像素切片，浓缩成一个紧凑的可疑区域候选池。
这一步里，问题几乎不参与搜索，只决定排查的疏密程度。
具体来说，AI先把低倍切片切成一个个小图块，用冻结的CONCH v1.5病理特征提取器，把每个图块转换成768维的特征向量。
这时共享在线记忆模块就开始工作了：它本质是一个两层的GELU多层感知机（MLP），初始状态是空白的，每来一个图块，就尝试用当前记忆去重建这个图块的特征。
如果重建误差很大、梯度很高，说明这个图块和当前记忆里的"正常印象"差异很大，AI会感到"惊喜"------这个惊喜分数，就是区域异常程度的指标。
为了效率，扫描并不是每个图块都更新记忆，只有惊喜分超过阈值的图块才会更新记忆，普通区域则让记忆缓慢遗忘旧信息。
最后通过阈值过滤和距离非极大值抑制，选出空间上分散的高惊喜区域，形成可疑区域候选池。
形态类问题会得到更密集的排查，临床类问题则覆盖更广的范围，确保不同类型的问题都有合适的搜索粒度。
任务条件搜索
有了全局的可疑区域池，AI才正式引入问题，开始第二阶段的精准搜索。
这一步的核心原则是：问题只做"池内重排序"，不做全局检索。
对每个可疑区域，AI用冻结的PLIP病理图文模型，计算区域图像和问题文本的余弦相似度，得到问题相关性得分。
由于惊喜分和相关性分的数值范围不一样，AI会先在候选池内把两个分数分别归一化，再按默认各50%的权重加权融合，得到最终排名。
最后选出排名靠前的少量区域，作为高倍镜下的重点观察目标。
这个设计的巧妙之处在于平衡了"全面"和"精准"。惊喜分保证了所有形态异常的区域都不会被漏掉，哪怕问题里没提到对应的关键词；PLIP相关性分则保证了和问题最相关的区域能优先被观察。
两者结合，既避免了"问题优先"容易漏检的问题，也解决了"只看异常"找不到重点的问题。
证据读出与问答
锁定重点区域后，就进入了最后的证据提取和答题阶段。
这一阶段最特别的地方是：答题用的全局上下文，和扫描阶段用的是同一份在线记忆，不需要额外构建知识库或缓存。
AI先把选中的低倍区域放大到高倍，在每个区域内再用一次局部惊喜评分，选出最具诊断价值的高倍小图块，作为核心证据。同时，从共享在线记忆里提取出一份简洁的"导航摘要"------包括扫描的图块总数、可疑区域数量、惊喜分的统计特征等，作为整张切片的全局背景。
必要时，还可以从参考病例库中检索几个相似病例作为补充。
最后，由"感知器-裁判官"双层模型生成答案：冻结的Patho-R1-7B病理视觉语言模型作为感知器，把高倍图像转换成结构化的证据描述；冻结的Qwen3.5-4B大语言模型作为裁判官，综合局部证据、导航摘要和参考病例，给出最终答案。
三、准确率与效率的双重突破
研究团队在WSI-VQA和SlideBench-BCNB两个权威基准上完成了全面测试，和通用大模型、有监督病理模型、同类免训练智能体做了横向对比，数据清晰地验证了PathNavigate的价值。
开放式问答能力提升超47个百分点
WSI-VQA数据集包含735道乳腺癌相关问题，其中390道选择题、345道开放式问题，核心考验AI能不能用自然语言完整、准确地回答病理问题。
测试结果显示，PathNavigate的总准确率达到56.34%，比同类免训练智能体PathAgent高出22.46个百分点。
最悬殊的差距出现在开放式问答上：PathNavigate的准确率达到61.00%，而PathAgent仅为13.91%，提升幅度超过47个百分点。
在文本匹配度上，PathNavigate的BLEU-1得分60.92%、ROUGE-L得分63.53%，同样大幅领先所有对比方法。
这个差异背后的原因很直观：选择题可以靠排除法蒙对，但开放式回答需要完整的证据链和清晰的逻辑表达。
传统免训练方法证据定位不完整，只能应付封闭选项，一旦需要自由组织语言就会漏洞百出；而PathNavigate从全局扫描到高倍取证的完整路径，为开放式回答提供了充足的证据支撑。
多诊断任务全面领跑
SlideBench-BCNB是更贴近临床的基准，包含7274道选择题，覆盖肿瘤识别、ER状态、PR状态、HER2状态、组织学分级、分子亚型共7项诊断任务，采用官方加权算法计算总体得分。
PathNavigate的总体得分为59.42%，比单独使用感知器模型高出22.16个百分点。分项来看，提升最显著的是肿瘤识别（88.28%，提升46.12个百分点）、ER、PR和HER2检测------这些任务高度依赖对浸润区域的精准定位和形态观察，恰好是扫描-搜索-读出流程的强项。
而组织学分级和分子亚型的提升相对较小，因为分级需要更细微的核形态判断，分子亚型更依赖免疫组化而非HE染色形态，这也符合研究团队的预期：更好的导航能大幅提升形态相关任务的表现，但无法完全替代缺失的模态信息。
跨方法对比能看出更本质的结论：决定WSI-VQA上限的不是模型大小，而是证据导航能力。参数更大的通用大模型如果只会看单张缩略图，表现远不如会主动导航的病理智能体；有监督模型虽然在特定任务上表现不错，但代价是需要大量专属训练。
PathNavigate在完全免训练的前提下，做到了接近甚至超越有监督方法的效果，性价比优势非常明显。
消融实验
为了验证每个模块的作用，研究团队做了系统的消融实验。
如果把惊喜引导的候选池换成随机选择，总准确率会下降6.84个百分点，说明第一步的异常筛查是整套系统的核心支柱；如果去掉PLIP只靠惊喜排序，准确率下降2.92个百分点；如果只靠PLIP不用惊喜引导，准确率下降4.14个百分点，证明两者互补、缺一不可。
而去掉导航摘要或参考病例，准确率下降幅度都很小，说明答案的准确性主要来自精准的证据定位，全局上下文更多是稳定边界情况。
效率方面，PathNavigate同样表现亮眼。和PathAgent相比，单问题平均延迟相近（84秒 vs 92秒），但prompt token用量减少了近一半（约17K vs 约30K），更关键的是离线辅助存储仅需4MB，而PathAgent需要277MB的字幕缓存，系统轻量化程度提升了近70倍。
在真实病例的定性对比中，优势更加直观：同一张乳腺癌切片、同一个问题，PathAgent被弱相似组织误导，错误预测为鳞状细胞癌；而PathNavigate通过全局扫描先锁定了导管癌区域，再经高倍验证，正确判断为浸润性导管癌，整个诊断路径清晰可追溯。
四、极端场景视觉搜索的新可能
PathNavigate的价值，远不止于提升了病理VQA的准确率。
对数字病理领域而言，免训练的特性极大降低了落地门槛。医院不需要积累大量标注数据、不需要重新训练模型，就能快速部署属于自己的病理问答助手；同时可解释的证据路径，也让医生能清晰看到AI是基于哪些区域得出的结论，更容易建立信任。
它可以成为病理医生的"第二双眼睛"：自动标注可疑病灶、快速回答常规分型问题、辅助生成诊断报告，显著提升读片效率，减少漏诊风险。
对更广泛的AI领域来说，PathNavigate提出了一种解决"极端上下文视觉搜索"的通用范式。
凡是超大图像的感知场景------比如千米级卫星影像的目标检索、超大尺寸工业电路板的缺陷检测、宏观遥感图像的地物识别，都面临"视野太大、预算有限、要找的特征没说全"的共性问题。
而"先扫描建立基线、再池内精准检索、记忆全程共享"的思路，完全可以迁移到这些场景中，让AI在十亿甚至百亿像素的画面里，都能高效、准确地找到目标。
未来，这套方法还有很大的拓展空间：融合免疫组化、分子病理等多模态数据，解决更多单靠HE染色无法判断的问题；结合更多病例知识库，进一步提升复杂临床问题的回答质量；甚至可以拓展到动态的病理视频分析中。
MedX知识岛
看完一篇好论文，下一步该做什么？找代码、查数据，还是尝试复现？
在MedX知识岛，既有医学AI领域最新的顶刊复现，也有最全面的公开代码和数据库查询系统！
注册登录即可免费探索，让医工交叉领域的前沿探索不再为代码和数据所困！