【论文阅读】 Cola-Dif; An explainable task-specific synthesis network

文章目录

    • [CoLa-Diff: Conditional Latent Diffusion Model for Multi-modal MRI Synthesis](#CoLa-Diff: Conditional Latent Diffusion Model for Multi-modal MRI Synthesis)
    • [An Explainable Deep Framework: Towards Task-Specific Fusion for Multi-to-One MRI Synthesis](#An Explainable Deep Framework: Towards Task-Specific Fusion for Multi-to-One MRI Synthesis)

CoLa-Diff: Conditional Latent Diffusion Model for Multi-modal MRI Synthesis

论文地址 https://conferences.miccai.org/2023/papers/126-Paper2305.html
摘要:

大多数基于扩散的 MRI 合成模型都使用单一模态;一般在保存结构方面失败;并且为了减少内存消耗。
提出:

在浅层进行扩散,减少内存消耗

和扩散模型基本一致,就是在输入网络里面加入了条件y。损失函数也就是在里面加入了条件y。

类似的协同过滤:

将特征信息进行提取以及融合处理;这里面都是通过小波变换提取的信号。块匹配 δ或阈值 γ。
结构指导:

使用FSL-FAST来分割四种类型脑组织。E里面的结构。将其作为条件输入进去。
自动权重适应:

可以理解为计算能量。

S是Sigmoid激活函数,v,o是可学习的权重。

An Explainable Deep Framework: Towards Task-Specific Fusion for Multi-to-One MRI Synthesis

论文地址 https://conferences.miccai.org/2023/papers/057-Paper0599.html

和本篇论文相关的HyperConv论文地址:https://arxiv.org/abs/2302.00517
摘要:

很多方法缺乏量化不同输入序列的贡献和估计所生成图像中的区域特定质量的能力,使得其难以实用。提出了一个可解释的任务特定的融合序列到序列(TSF-Seq 2Seq)网络,它具有自适应权重的特定合成任务与不同的输入组合和目标。

首先将每个特征通过E进行特征提取,然后进行融合,之后通过TSC编码(0-1)进行加权融合。同时并行的将融合特征通过TSA进行处理。

当某个序列没有输入时:使用0代替。
Task-Specific Weighted Average

c是编码,b是偏执,theta是为了避免除0错误。

Task-Specific Attention

使用HyperConv代替CBAM中的卷积,HyperConv是一个动态滤波器,其内核从共享权重库映射,映射函数由给定的目标代码生成。
损失函数

希望这两个都可以重建为目标图像

特定任务增强映射

得到的结果就是增强映射。通过实验可以看到在重要,难得部分有很大效果。

相关推荐
mmq在路上16 小时前
SLAM-Former: Putting SLAM into One Transformer论文阅读
论文阅读·深度学习·transformer
Vizio<1 天前
《基于 ERT 的稀疏电极机器人皮肤技术》ICRA2020论文解析
论文阅读·人工智能·学习·机器人·触觉传感器
张较瘦_1 天前
[论文阅读] AI+软件工程(需求工程)| 告别需求混乱!AI-native时代,需求工程的5大痛点与3大破局方向
论文阅读·人工智能·软件工程
张较瘦_2 天前
[论文阅读] 软件工程 | 量子计算即服务(QCaaS)落地难?软件工程视角的解决方案来了
论文阅读·软件工程·量子计算
byzy2 天前
【论文笔记】VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving
论文阅读·深度学习·计算机视觉·自动驾驶
红苕稀饭6662 天前
Video-of-Thought论文阅读
论文阅读
张较瘦_3 天前
[论文阅读] AI+软件工程(迁移)| 从JDK8到21:FreshBrew如何为AI代码迁移画上“可信句号”
论文阅读·人工智能·软件工程
秋雨qy4 天前
VLA论文阅读2
论文阅读
网安INF4 天前
【论文阅读】-《SparseFool: a few pixels make a big difference》
论文阅读·人工智能·深度学习·网络安全·黑盒攻击
张较瘦_4 天前
[论文阅读] AI+教学 | 编程入门课的AI助手革命?ChatGPT的4大核心影响全解析
论文阅读·人工智能·chatgpt