Surgical Video Understanding LLM

SurgLLM: A Versatile Large Multimodal Model with Spatial Focus and Temporal Awareness for Surgical Video Understanding

(1)优先对含手术器械的区域进行掩码,不同时间长度(2、4、8、16 帧)的mask,让AE重建mask的部分,练一下encoder

(2)对比学习:视频 - 文本对比学习(VTC)、视频 - 文本匹配(VTM)和掩码语言建模(MLM)三个互补目标

(3)对切片的手术片段打上 "这是一个从 i×t 秒到 (i+1)×t 秒的视频片段"的时间描述S,与对应视觉特征H交错排列

,q是查询的问题

(4)Surgical Task Dynamic Ensemble:先对输入查询进行任务类型判定,用多任务Q-Former把视觉映射到不同任务空间,并激活不同任务对应的Lora参数

其中,Q-Former中,每个任务对应一组可学习向量,激活到具体任务时,用可学习向量和video encoder的向量做交叉注意力

SurgVidLM: Towards Multi-grained Surgical Video Understanding with Large Language Model

(1)构建数据集是拿ResNet50过滤非手术片段,有全局QA和局部QA

(2)训练:第一阶段低频采样(1fps)全局视频,Lora微调

第二阶段输入时间码,对时间码对应的片段高频采样(2fps),将第一阶段的低频特征作为kv,采样出的特征作为q,做注意力融合

(3)推理:第一阶段生成全局理解结果(如 "该视频为腹腔镜直肠癌根治术,包含探查、游离、吻合等 5 个关键阶段")

第二阶段模型先定位问题对应的视频片段(通过时间码),再推理

Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation

想解决的问题是外科领域文本质量低、专业知识缺失的痛点,而不是练一个手术视频理解模型

多层对比学习,红色是手术流程中不同阶段的核心操作描述,绿色是对整个手术视频的摘要文本(病例总结)

(a)根据病例扩充可能发生的结构化的手术步骤描述

(b)红色部分对应 Video-Level Pairing,根据临床症状描述Context,生成视频级摘要

橙色部分对应Phase-Level Pairing,根据手术视频的片段,生成阶段级关键步骤描述

蓝色部分,将手术过程中碎片化的语音转录文本,将转录文本与流程 (a) 构建的 结构化手术步骤描述 进行语义匹配,生成标准化的片段级叙事文本

EndoChat: Grounded Multimodal Large Language Model for Endoscopic Surgery

相关推荐
Frag0ut21 分钟前
Chrome 2026浏览器AI助手全攻略:智能问答与内容创作实战进阶指南
人工智能·chrome·ai助手·本地大模型·浏览器ai·网页智能总结·侧边栏ai
如夏倾城1 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Dawson Zhu1 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
水如烟1 小时前
孤能子视角:通用智能 vs 分工协同智能群系统–––集中结晶 vs 分布式结晶
人工智能
罗西的思考2 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
lilihuigz2 小时前
权限配置:WordPress 7.2 Abilities API 权限、输入验证与 JSON 输出指南
人工智能
杨凯凡2 小时前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github
鲁邦通物联网3 小时前
机器人梯控到站状态机设计:楼层匹配、事件时序与任务判断
人工智能·机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯
静水深码3 小时前
文生图提示词的工程师写法:把玄学话术拆成结构化模板
人工智能·后端·代码规范