TRACER 论文解读与复现：面向 ICU 长时程患者监测的多模态 Harness 架构、时序证据建模与工具增强推理

文献 ：Durante, Z., Tang, P., Chandrasegaran, K., et al. TRACER: A Multimodal Harness for Patient Care in Hospitals . arXiv:2610.21266v1 (2026)，预印本（Under Review）。

论文原文 ：arXiv:2610.21266 ｜ 开源代码 ：zanedurante/tracer-harness > 研究主题 ：ICU 长时程视频理解、EHR 融合、原子动作识别、工具增强型 LLM Agent。 > 复现边界 ：本文为论文方法解读与公开代码复现路线 ，所列精度均来自原论文，并非本文作者在临床原始数据上的本地实测 。## 摘要在重症监护病房（Intensive Care Unit，ICU）中，连续床旁视频能够捕捉患者的运动、交互及活动模式，而电子健康记录（Electronic Health Record，EHR）则记录药物给药、生命体征和护理评估等临床信息。然而，将多日连续视频与异步临床事件联合建模，面临视觉上下文规模庞大、短时事件容易在全局采样中丢失，以及临床证据难以定位和验证等挑战。针对上述问题，Durante 等人提出 TRACER（Trajectory Reasoning Across Clinical Event Records），一种无需在患者数据上进行参数训练的多模态 Harness。该框架以分钟级原子动作识别为基础，构建可查询的行为时间线，将逐分钟视觉证据与同期用药记录压缩为小时级报告，并通过支持视频、时间线、报告和 EHR 检索的语言模型 Agent 完成长时程临床行为问答。本文从问题定义、系统组成、关键算法、评估协议和开源复现路径五个方面解读该研究，并明确区分方法与代码复现 和原始临床结果复现 的边界。> 关键词 ：TRACER；Multimodal Harness；ICU；长视频理解；原子动作识别；多模态 Agent；电子健康记录### 研究速览| 维度 | 原论文设置与结果 ||:---|:---|| 研究问题 | ICU 全住院周期的连续床旁视频与 EHR 联合理解 || 方法路径 | 分钟级感知 → 行为时间线 → 小时级报告 → 11 工具 Agent || 动作识别基准 | 397 段一分钟片段；15 类原子动作；最佳 Accuracy 84.8% 、Micro-F1 68.6% || 长时程问答 | TRAJECTORY-144：144 道问题、264 小时；最佳完整配置 76.9% || 回顾性队列 | 280 名患者，约 60,000 摄像头小时 || 可复现性 | 代码与合成示例公开；真实患者数据与私有基准未公开 |> 阅读路线 ：研究背景 → 系统架构 → 评估协议与结果 → Windows 复现 → 学术讨论与结论。 > 建议读者 ：多模态学习、长视频理解、医疗 AI、VLM/LLM Agent 与科研复现方向研究者。---## 1. 研究背景与问题定义传统视频理解方法通常在相对有限的时长内完成事件检测、动作识别或问答。当研究对象扩展至 ICU 患者的完整住院轨迹时，一次性输入全部视频不再现实：视频长达数天，既包含持续性行为模式，也包含持续数秒或数分钟的关键局部事件。另一方面，床旁视频所反映的是可观察行为，而给药、量表评估及护理记录分布于另一条时间线上，两种证据需要以时间为索引进行关联。论文将一次 ICU 住院过程表示为 S = ( { V t ( 1 ) , V t ( 2 ) } t = 1 T , E ) , S=\left(\{V_t^{(1)},V_t^{(2)}\}{t=1}^{T},E\right), S=({Vt(1),Vt(2)}t=1T,E),其中， V t ( 1 ) V_t^{(1)} Vt(1) 和 V t ( 2 ) V_t^{(2)} Vt(2) 分别表示第 t t t 分钟的双摄像头视频片段， T T T 为住院观察时长（单位：分钟）， E E E 为带有时间戳的结构化 EHR 事件集合。对于临床自然语言问题 q q q，目标是根据 S S S 中的视频与临床记录，产生具有可追溯证据的回答。与"将全部视频压缩为单条摘要"的方案不同，TRACER 采用预先构建时序抽象、按问题动态获取证据 的分离式架构。前者在数据到达时持续生成结构化表征，后者则由 Agent 在问答阶段调用检索与视频复查工具，从而在全局覆盖与局部细节之间建立平衡。---## 2. TRACER 总体架构TRACER 将长时程输入组织为可检索的层级证据，整体数据流如下：text连续床旁视频（双机位） │ 每分钟 / 每摄像头采样 60 帧 ▼Perception VLM：15 类原子动作 + 视频描述 │ ▼分钟级行为时间线 ─────┐ ├──→ 小时级行为报告 ──┐EHR：用药与护理记录 ──┘ ├──→ Agent + 11 类工具 ──→ 临床行为问答原始视频片段 ────────────────────────────┘*图 1 TRACER 的双模态数据输入、分钟级行为时间线、小时级报告与工具增强型 Agent 框架（原论文 Figure 1）。*TRACER 包含三个独立但相互协作的模型角色：（1）Perception VLM，用于从每分钟视频中提取原子动作和简短描述；（2）Report LM，将 60 条分钟记录及其同期用药信息聚合为小时级报告；（3）Agent LM，在给定问题后调用检索工具，逐步定位证据并生成回答。三个角色均由预训练模型通过提示词执行，无需在受保护患者数据上进行微调。### 2.1 分钟级原子动作表征原始视频被划分为互不重叠的 60 秒片段。每个摄像头的每分钟片段按照 1 FPS 采样，得到 60 帧图像。Perception VLM 使用固定提示词对 15 种预定义原子动作逐一判定，并输出一句或两句视频描述。15 类动作覆盖五组语义：手臂/手部运动（5 类）、躯干运动（2 类）、头颈运动（2 类）、腿部运动（2 类）和患者---医护交互（4 类）。这是多标签识别问题，同一分钟内可以同时存在多个动作。对任意一分钟 t t t，左右视角的二值标签向量分别记作 y t ( 1 ) , y t ( 2 ) ∈ { 0 , 1 } 15 \mathbf y_t^{(1)},\mathbf y_t^{(2)}\in\{0,1\}^{15} yt(1),yt(2)∈{0,1}15。论文通过逐维逻辑或融合两个视角： y t = y t ( 1 ) ∨ y t ( 2 ) . \mathbf y_t=\mathbf y_t^{(1)}\lor\mathbf y_t^{(2)}. yt=yt(1)∨yt(2).推理输出原本允许 YES、NO 和 UNABLE TO IDENTIFY 三种状态；构建时间线时，无法判断状态按阴性进行折叠。注意，这一存储规则与感知基准评估中对弃权预测的处理并不完全相同，复现实验时应保持原论文的评估协议。### 2.2 小时级报告与跨模态时间对齐一分钟记录可表示为 r t = ( y t , c t ( 1 ) , c t ( 2 ) ) r_t=(\mathbf y_t,c_t^{(1)},c_t^{(2)}) rt=(yt,ct(1),ct(2))，其中 c t ( 1 ) c_t^{(1)} ct(1) 和 c t ( 2 ) c_t^{(2)} ct(2) 是双视角短文本描述。对每个小时 h h h，报告模型根据该小时的分钟记录和 EHR 用药事件 E h E_h Eh 生成报告： H h = LM ⁡ r e p o r t ( { r t : t ∈ h } , E h ) . H_h=\operatorname{LM}{\mathrm{report}}\big(\{r_t:t\in h\},E_h\big). Hh=LMreport({rt:t∈h},Eh).报告遵循六个固定部分：患者运动概述、医护交互、显著时刻、用药背景、活动与用药的时间对应关系，以及简要总结。论文特别要求所有可观察行为的陈述附带分钟级时间定位，并避免从时间共现直接推断药物因果作用。这一设计不仅降低了问答阶段的上下文开销，也为后续证据审计创造条件。### 2.3 工具增强型长时程推理TRACER 的 Agent 可调用 11 个工具：2 个基础工具、4 个时间线工具、2 个报告工具、2 个 EHR 工具和 1 个视频复查工具。具体包括患者元数据查询、时区转换、动作检索与统计、首次发生时刻定位、关键活动变化检索、小时报告查询、药物记录查询、护理记录查询和指定分钟的视频分析。对于长时程问题，Agent 可以先使用时间线工具缩小候选范围；对于持续数分钟的活动，可以读取小时报告；对于需要细节确认的事件，可以重新对特定一分钟原始视频提问；涉及临床记录的问题则通过 EHR 工具核查。论文问答实验将工具调用预算限制为最多 25 次，并保留工具调用与返回结果以支持证据追踪。---## 3. 实验设计与论文结果### 3.1 原子动作感知评估作者构建了包含 397 个一分钟片段 的感知基准，来自 26 次患者住院过程 ，评估 15 类动作的准确率、精确率、召回率和 F1。对于多标签识别任务，Micro-F1 可写为 F 1 m i c r o = 2 ∑ c = 1 15 T P c 2 ∑ c = 1 15 T P c + ∑ c = 1 15 F P c + ∑ c = 1 15 F N c . F1_{\mathrm{micro}}=\frac{2\sum_{c=1}^{15}TP_c}{2\sum_{c=1}^{15}TP_c+\sum_{c=1}^{15}FP_c+\sum_{c=1}^{15}FN_c}. F1micro=2∑c=115TPc+∑c=115FPc+∑c=115FNc2∑c=115TPc.其中 T P c TP_c TPc、 F P c FP_c FPc 与 F N c FN_c FNc 分别是类别 c c c 的真正例、假正例与假负例。与单独报告 Accuracy 相比，F1 能更充分地反映动作类别分布不均衡时的检测质量。| 感知模型 | Accuracy (%) | Micro-F1 (%) ||---|---😐---:|| Qwen3-VL 8B | 78.0 | 37.6 || Qwen3.5 9B | 79.7 | 48.4 || Gemini 3.1 Flash Lite | 82.3 | 62.2 || Gemini 3.5 Flash | 84.8 | 68.6 |表 1 原论文 Table 2 中的部分模型结果，均为原始论文报告值。 图 2 左：不同感知模型的逐类别动作检测 F1；右：不同谵妄评估组别的行为频率比（原论文 Figure 2）。 ### 3.2 长时程问答与 Harness 消融论文提出 TRAJECTORY-144 基准：144 道由临床需求启发的多项选择问题 ，涉及 两次 ICU 住院、共 264 小时视频及 EHR 记录 。问题分为短时视频（小于 5 分钟，33 题）、中等时间窗口（5--30 分钟，16 题）、长时间视频（超过 30 分钟，61 题）、纯 EHR（26 题）和跨模态（8 题）。答案位置轮换五次，并据此计算平均正确率。在使用同一 Gemini 3.1 Flash Lite 主干的比较中，原论文报告，强基线（视频帧与 EHR 联合输入）的问答准确率为 49.3% ，TRACER 为 61.0% ，绝对提升 11.7 个百分点 。采用 Gemini 3.5 Flash 作为 Agent 的最佳 TRACER 配置达到 76.9% 。需要注意，61.0% 与 76.9% 对应不同的 Agent 配置，不应将二者混为同一模型结果。论文进一步比较了逐步增加工具组的效果：| 累积工具配置 | QA Accuracy (%) ||---|---:|| 仅 Timeline | 43.7 || + Reports | 47.6 || + EHR | 61.1 || + Video（完整 TRACER） | 65.3 |表 2 原论文 Table 3 的跨三种 Agent 模型平均消融结果。这一结果说明：时间线、报告、EHR 和原始视频复查对不同类型问题具有互补价值。尤其是 EHR 显著改善临床记录问题，视频工具更有利于复查短时关键事件，而时间线更适合跨较长时域的行为定位。### 3.3 队列级行为统计与临床意义 图 3｜研究队列筛选流程（查阅原论文 Figure 3）图 3 研究队列筛选和最终纳入患者的基本特征（原论文 Figure 3）。*作者在 280 名患者、约 60,000 摄像头小时 的回顾性数据上考察行为频率与谵妄评估状态的关联。其中，53 人在住院期间至少有一次 CAM-ICU 阳性评估，227 人未记录到阳性评估。对动作 a a a，论文定义组间频率比：KaTeX parse error: Undefined control sequence: \qquadf at position 63: ...\text{-}del}}},\̲q̲q̲u̲a̲d̲f̲_a^{(g)}=\frac{...其中 m a ( p ) m_a^{(p)} ma(p) 为患者 p p p 被判定存在动作 a a a 的分钟数， M ( p ) M^{(p)} M(p) 为其总观察分钟数。原论文报告，与非谵妄组相比，谵妄阳性组在使用非医疗物品（ F R = 0.41 FR=0.41 FR=0.41）、日常活动相关腿部动作（ F R = 0.46 FR=0.46 FR=0.46）及物品交换（ F R = 0.48 FR=0.48 FR=0.48）等目的性行为上具有更低的观察频率。> 研究解释边界：这是回顾性关联分析，而非谵妄诊断或预测性能验证*。患者被分组的标准是住院期间是否出现过阳性评估，不能把组间行为差异直接解释为某一分钟发生了谵妄，也不能忽略镇静程度、机械通气和住院时长等潜在混杂因素。### 3.4 模型性能与计算成本* *图 4｜模型性能与计算成本（查阅原论文 Figure 4）图 4 不同感知模型的 F1 与 API 成本 / GPU 时间关系（原论文 Figure 4）。*TRACER 将成本较高的分钟级视觉感知放在预处理阶段，并把结果保存在可检索层级中，使同一住院过程能够服务多个后续问题。论文在大规模队列处理时选择 Gemini 3.1 Flash Lite，反映了对识别性能与推理成本的综合考虑。复现实验应单独记录模型版本、调用次数、输入输出 Token、时延与实际计费规则，而不直接套用论文投稿时的价格。---## 4. 开源代码复现：由最小可运行系统到完整流程### 4.1 代码与数据的公开范围官方仓库提供了工具定义、提示词、感知与报告生成程序、Agent 主循环、评估代码、离线模拟数据、官方合成示例视频的预计算结果以及 Web Viewer。然而，真实 ICU 视频、EHR、397 个标注片段和 TRAJECTORY-144 原始问题均未公开。因此，下述工作可以验证系统机制、软件正确性和替代数据上的实验协议 *，但不等于在原作者私有数据上严格重复相同结果。### 4.2 复现目标与验证层级| 层级 | 推荐验收点 | 原论文结果是否可据此复核 ||:---|:---|:---|| A｜软件正确性 | pytest 通过；tracer.demo 输出 DEMO OK | 否，仅验证软件流程 || B｜合成示例视频 | Quickstart 运行；分钟时间线与报告可展示 | 否，仅验证公开示例 || C｜自建数据实验 | 实际 VLM 推理、独立标注和 Agent 消融 | 可测试同类方法，不能直接等同原基准 || D｜原论文数值复验 | 原始 ICU 视频、EHR、私有标签与问题集 | 受临床数据访问限制 |### 4.3 环境准备与离线功能测试项目要求 Python 3.10 或更新版本。以下以 Windows PowerShell 为例：powershellgit clone https://github.com/zanedurante/tracer-harness.gitcd tracer-harnesspy -3.11 -m venv .venv.\.venv\Scripts\python.exe -m pip install -r requirements.txt.\.venv\Scripts\python.exe -m pip install pytest.\.venv\Scripts\python.exe -m pytest tests -q为保证后续复现可追踪，建议固定仓库版本：powershellgit rev-parse HEAD随后执行无 API Key 的模拟数据实验：powershell.\.venv\Scripts\python.exe -m tracer.demo验收标准： 根据仓库说明，成功时应输出 DEMO OK。离线 Demo 使用预设 Mock 响应 ，目的是检验数据结构、11 个工具、Agent 循环和评分管线，不能视为真实 VLM/LLM 的感知能力测试。仓库示例的 Mock 正确率也不能与论文私有基准的结果相比较。### 4.4 官方合成视频与可视化系统一键运行命令：powershell.\.venv\Scripts\python.exe -m tracer.quickstartQuickstart 会在默认位置下载一段约 1.7 GB、时长一小时的 Veo 合成 ICU 视频（若本地不存在），切分为一分钟片段，并加载仓库自带的感知、时间线和报告缓存。程序最后会启动本地 Viewer：http://127.0.0.1:5000/。未配置 API Key 时仍可查看已有时间线与报告，但在线聊天和未缓存的模型推理需要有效模型服务。若使用 Gemini API，可以在当前终端进程中配置：powershell$env:GEMINI_API_KEY = "你的 API Key".\.venv\Scripts\python.exe -m tracer.quickstartAPI Key 不应提交到 Git 仓库。模型接口是否可用取决于账号权限及供应商的当前模型服务状态。### 4.5 使用自己的视频完成五分钟端到端试验建议先处理公开授权或人工合成的短视频，而不是直接导入真实患者隐私数据：powershell.\.venv\Scripts\python.exe -m tracer.quickstart ` --video "D:\Research\tracer_data\sample.mp4" ` --out "D:\Research\tracer_run" ` --max-minutes 5 ` --model gemini-3.1-flash-lite这一步依次执行视频切片、合成 EHR 准备、分钟级感知、时间线构建、小时报告与 Viewer 启动。必须注意：Quickstart 自有视频模式仍然搭配仓库的合成 EHR 进行演示，不会自动导入真实病历 。如果要开展真实跨模态研究，需按照 docs/DATA_LAYOUT.md 构建独立的数据存储结构，并检查患者 ID、时区及给药时间的一致性。### 4.6 自建标注集上的动作检测评价准备符合 docs/DATA_LAYOUT.md 规范的 labels.csv，其中包括 video_id 和 15 个动作类别的标注列，然后分别运行感知与评估：powershell0..4 | ForEach-Object { .\.venv\Scripts\python.exe -m tracer.perception.run_perception gemini-3.1-flash-lite --annotations labels.csv --run $_}.\.venv\Scripts\python.exe -m tracer.perception.evaluate gemini-3.1-flash-lite --annotations labels.csv --aggregate --csv建议报告 Micro-F1、Macro-F1、逐类别 Precision/Recall/F1、样本量及标签分布；若比较不同模型，还应固定视频采样、提示词、标注协议与评估脚本。### 4.7 Agent 工具消融实验构建具有人工核验答案的多项选择问题文件 questions.csv（字段格式参见 docs/DATA_LAYOUT.md），可运行：powershell.\.venv\Scripts\python.exe -m tracer.harness.sweep ` --csv questions.csv ` --configs text_only,timeline_only,reports_only,ehr_only,video_only,plus_reports,plus_ehr,tracer ` --model gemini-3.1-flash-lite ` --positions 5 ` --workers 6 ` --run-name tracer_ablation再统计答案位置分布和成对配置差异：powershell.\.venv\Scripts\python.exe -m tracer.eval.position_stats --run tracer_ablation.\.venv\Scripts\python.exe -m tracer.eval.compare_sweeps --a tracer_ablation:plus_ehr --b tracer_ablation:tracer结果报告中应注明：问题由何种数据构建、各问题类型的样本数、金标准由谁核验，以及是否使用同一感知缓存。仅在公开 Demo 上运行得到的分数，不应被解释成原论文 TRAJECTORY-144 的复现实验成绩。---## 5. 复现评价与研究启示第一，TRACER 的主要方法贡献是可查询的时序证据组织。 它不是在 ICU 数据上训练新的端到端网络，而是以分钟级多标签行为表征和小时级临床报告为中间层，使 Agent 可以根据问题选择适当的时间尺度。第二，性能提升来自多种证据的互补性。 时间线支持跨时域聚合，报告提供中尺度摘要，EHR 给出临床事件，视频复查补充细粒度视觉证据。工具消融是验证系统机制的关键，不能简单归结为使用了更强的基础模型。第三，临床结果的解释应保留边界条件。 不同摄像头视角、场景遮挡、患者构成和记录制度可能影响外部泛化；原论文的小时报告审计也发现一部分陈述存在时间定位或事实对应偏差。因此，模型输出应被视为需要核查的辅助证据，而不是不可质疑的事实。第四，开源与临床数据可得性是两个不同的问题。 代码、提示词和工具接口公开，并不意味着能够直接验证私有队列上的精度和统计显著性。科学复现至少需要明确区分：软件管线复现、同任务替代数据复现和同数据同协议的严格数值复现。---## 6. 结论TRACER 展示了一种面向长时程医疗视频与结构化 EHR 的模块化多模态推理范式：利用预训练 VLM 对连续视频进行分钟级原子动作抽象，采用报告语言模型构建小时级行为摘要，再通过带有工具调用能力的 LLM Agent 对不同时间尺度的证据进行选择性检索和核对。论文报告的动作检测、临床问答及队列关联结果为这一设计提供了实证支持，但其外部适用性仍需更多中心、患者群体和独立标注数据的验证。对于研究人员和工程实践者，最合理的复现顺序是：先通过离线 Demo 和官方合成视频验证代码，再接入真实模型完成五分钟级端到端测试，最后基于合法可得的独立数据建立感知评估与工具消融基准 。在这一过程中，保存 Git Commit、模型版本、推理参数、数据来源、日志与统计脚本，是保证结果具有可重复性和可审计性的前提。---## 参考文献1 Durante Z, Tang P, Chandrasegaran K, et al. TRACER: A Multimodal Harness for Patient Care in Hospitals EB/OL. arXiv:2610.21266v1, 2026. https://arxiv.org/abs/2610.21266.\[2\] Durante Z, et al. tracer-harness: Official Code Repository EB/OL. GitHub, 2026. https://github.com/zanedurante/tracer-harness.\[3\] TRACER Project. DATA_LAYOUT.md, RESULTS.md and Demo README EB/OL. https://github.com/zanedurante/tracer-harness/tree/main/docs.---*写作说明：本篇为论文技术解读与公开复现路线整理，尚未报告作者本人在独立数据上完成的实测结果。正式发表复现对比时，应替换为本机日志、真实测试指标和经过核实的数据引用。*