2023.8.12号论文阅读

文章目录

  • [TriFormer: A Multi-modal Transformer Framework For Mild Cognitive Impairment Conversion Prediction](#TriFormer: A Multi-modal Transformer Framework For Mild Cognitive Impairment Conversion Prediction)
  • [SwIPE: Efficient and Robust Medical Image Segmentation with Implicit Patch Embeddings](#SwIPE: Efficient and Robust Medical Image Segmentation with Implicit Patch Embeddings)

TriFormer: A Multi-modal Transformer Framework For Mild Cognitive Impairment Conversion Prediction

摘要

轻度认知障碍(MCI)转化为阿尔茨海默病(AD)的预测对于早期治疗以预防或减缓AD的进展非常重要。为了准确预测MCI向稳定MCI或渐进式MCI的转换,我们提出了TriFormer,这是一种基于Transformer的新型框架,具有三个专用Transformer来整合多模态数据。

  • 图像Transformer从医学扫描中提取多视图图像特征
  • 临床Transformer嵌入和关联多模态临床数据
  • 模态融合Transformer,基于融合图像和临床Transformer的输出产生准确的预测

本文方法

左边的图像Transformer使用ViT从MRI中提取多视图图像特征。右边的临床Transformer研究不同临床数据之间的相关性。

图像切片标记与临床分类标记相连接,并作为模态融合转换器的输入,模态融合转换器结合提取的多模态特征来执行更准确的MCI转换预测。

实验结果

SwIPE: Efficient and Robust Medical Image Segmentation with Implicit Patch Embeddings

摘要

现代医学图像分割方法主要使用patch掩模形式的离散表示来学习特征并生成预测。虽然有效,但这种模式在空间上缺乏灵活性,难以适用于高分辨率图像,并且缺乏对物体形状的直接理解。为了解决这些限制,最近的一些研究利用隐式神经表征(INRs)来学习分割的连续表征。然而,这些方法往往直接采用为三维形状重建而设计的部件。更重要的是,这些公式也被限制在基于点或全局的上下文中,分别缺乏上下文理解或局部细粒度的细节,这两者都是准确分割的关键。

为了解决这个问题,我们提出了一种新颖的方法,SwIPE(隐式斑块嵌入分割),它利用inr的优势,在patch水平(而不是在点水平或图像水平)预测形状,从而实现准确的局部边界划定和全局形状一致性。

本文方法

在高层次上,SwIPE首先将输入图像编码为patch和图像形状embedding,然后使用这些embedding以及坐标信息P通过patch DP和图像解码器预测类占用分数

实验结果

相关推荐
Eastmount1 天前
[论文阅读] (55)NDSS26 WebSpotter:Web攻击恶意载荷定位与可解释攻击检测
论文阅读·网络安全·攻击检测·ndss
天树星智源6 天前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
XLYcmy7 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer
XLYcmy8 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足
论文阅读·论文笔记·token·cuda·asr·论文分享·tokenizer
feasibility.9 天前
LeCun团队世界模型JEPA首登无人机:9K参数模型,零样本Sim-to-Real飞入100Hz闭环
论文阅读·嵌入式·无人机·具身智能·世界模型·杨立昆·jpea
XLYcmy9 天前
ASR识别任务两篇论文阅读分析与系统方案技术报告 上
论文阅读·ai·gpu·asr·论文分享·speechbrain·wespeaker
Zucker n10 天前
文献发现、课题组织与证据可追溯的论文阅读。
论文阅读·windows·ubuntu
西柚小萌新10 天前
【论文阅读】--可信LLM智能体的威胁与对策 综述
论文阅读
Rocky Ding*10 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
Rocky Ding*12 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e