医疗影像分析与深度学习-导论

目录

一、声明

二、导论

[2.1 医疗影像(Medical Imaging)](#2.1 医疗影像(Medical Imaging))

[2.2 医疗影像的分类](#2.2 医疗影像的分类)

[解剖影像(Anatomical imaging)](#解剖影像(Anatomical imaging))

[功能影像(Functional imaging)](#功能影像(Functional imaging))

两种影像的一些具体例子

[2.3 X光的缺陷](#2.3 X光的缺陷)

[2.4 二维图像(2D)与三维图像(3D)](#2.4 二维图像(2D)与三维图像(3D))

[2.5 像素矩阵、医疗图像的本质、灰度与图像亮度](#2.5 像素矩阵、医疗图像的本质、灰度与图像亮度)

[2.6 对比度的意义](#2.6 对比度的意义)

[2.7 医学文件格式:.DICOM](#2.7 医学文件格式:.DICOM)

[2.7 医学图像的解剖切面(Anatomical Plane)](#2.7 医学图像的解剖切面(Anatomical Plane))

[2.8 医疗成像判断指标](#2.8 医疗成像判断指标)

三、人工智能声明及个人声明

四、参考


一、声明

本文基于悉尼大学 ELEC5622 信号、软件与健康(Signals, Software and Health) 课程学习整理,仅代表个人理解,不包含课程官方材料

本文仅用于学习记录和分享,任何组织、个人不得用于教材等任何商业形式的利用,不得以任何付费形式分享

项目、代码、文件等相关内容绝不得以任何形式用于课程作业

二、导论

2.1 医疗影像(Medical Imaging)

"医疗影像是指包括(利用)特定仪器和技术去生成图像或相关信息,(以了解)人体内部生理结构和功能的的过程" ------A P Dhawan 等人 (2008)

假设我们去买水果,一般情况下我们有什么方法去检查水果的内部情况?

1:敲一敲

2:劈瓜

3:用X光照射,直接给水果底裤都扫出来

当医生给我们检查身体时,显然只靠看外表和拍一拍是不够的。此外,直接给脑袋撬开显然也是不合适的。因此,在不打开人体的情况下,通过一些手段直接获取内部信息的技术,变得至关重要。

2.2 医疗影像的分类

依据影像提供的信息,医疗影像大致被分为两类------

解剖影像(Anatomical imaging)

也叫结构影像(Structure)

提供解剖或身体部分结构的信息。

功能影像(Functional imaging)

检测或度量代谢(metabolism)、血液流动、区域化学成分和吸收(absorption)的变化。

两种影像的区别
图.1.不同影像例图

这两种影像的根本区别是什么呢?

我们可以看到,左列是解剖影像,右列为功能影像。

在解剖影像中,我们能看到大脑的清晰结构。例如:骨头有没有断裂,或是内部有没有突起结构。

解剖影像实际上就是去看人体长什么样。

在功能影像中,我们能看到大脑的活动情况。例如:血液流速,或是氧气消耗。

功能影像实际上就是去看人体在做什么。

这些影像不仅可以帮助我们检查身体健康情况,也对我们学习和了解人体有很大的帮助。

例如,如果我们扫描一个已经学了三个小时拉普拉斯变换的学生的脑子的功能影像,并发现他大脑中某一部分活动剧烈,那我们几乎就可以判断,这个部位是用来发呆的。

两种影像的一些具体例子

|-----------------------------------------------------------|------------------------------------------------------------|
| 解剖影像方式 | 功能影像方式 |
| X光(X-ray) | 正电子发射断层扫描、PET(Positron Emission Tomography) |
| 计算机断层扫描、CT(Computed Tomography) | 单光子发射CT、SPECT (Single photon emission computed tomography) |
| 磁共振、MRI(Magnetic Resonance Imaging) 主要为 T1 和 T2 加权像为解剖学图像 | 功能磁共振、fMRI (Functional MRI) |
| 超声波(Ultrasound) (除了多普勒模式(Doppler)) | 弥散张量磁共振成像、DTI (Diffusion tensor MRI) |
| 光学成像(Optical imaging) 包括光学相干成像(Optical coherence imaging) | 光学荧光(Optical fluorescence) |
[ ]

表.Ⅰ.不同影像方式

2.3 X光的缺陷

如果只是骨折,X光完全可以掌握信息,为什么我们需要发展出CT和MRI呢?
图.2.胸部X光

我们看一张胸部X光,这张图片可以看出,X光穿过去时,前后所有组织全部投影到一张二维图像上了。

X光最大的缺陷是:不同深度的信息重叠在一起了。

如果肺后有病灶,那么就会被心脏或肋骨挡住。

而CT的原理为,把人体分为一层一层的切片。

从不同方向切开来看的图片,我们就称之为:

Axial(横断面)

Sagittal(矢状面)

Coronal(冠状面)

想象一种情况,我们用X光照射一本书,书里所有页的内容全部被压缩在一页中,那么我们什么都看不到。

可是如果我们用CT来照射,我们就能把这本书一页一页翻开来看。

我们能看到肿瘤的位置、大小、深度、发展的方向。

2.4 二维图像(2D)与三维图像(3D)

IEEE领域的都知道,如果我们把图像或者屏幕无限放大,一定会看见一个一个"小方块"。

这些小方块就是电子的最小成像单位------像素(Pixal)

而在CT中,是由一层一层的像素堆叠而成。

第1层 ■■■■

第2层 ■■■■

第3层 ■■■■

这时我们就称之为------体素(Voxel)

(突然想起来初中化学的碳体素)
图.3.像素和体素

如果你玩过我的世界这款游戏,那么一定可以轻松理解体素的概念和重要性。

复杂的体素可以对一切建模。

数据 最小单位
X光照片 Pixel
普通照片 Pixel
CT体积数据 Voxel
MRI体积数据 Voxel

表.Ⅱ.数据和最小单位

2.5 像素矩阵、医疗图像的本质、灰度与图像亮度

图像的最小单位是像素,像素的本质是亮度(灰度),所以图像的本质是亮度的数学矩阵。

这句话如何去理解呢?

我们知道屏幕上实际上全是一些小灯泡(LED),如果我们的灯全是白色的,那屏幕上就只有黑、白两种颜色。

我们现在把九个灯放在这里。

我们看到的是,外圈的灯全亮,中间一个灯为灭。

那我们只需要打开外圈的灯,关闭中间的灯就行了。

假如我们有非常多的小灯,就可以组合出这种图案:

但这种图案我们无法看出任何细节。

于是我们发明了灰度(Gray Scale)

灰度完完全全可以理解为亮度,它实际上就是这个白灯的亮度而已。

实现的方式为PWM调制灯光,实际上就是让灯光不断亮灭,调整占空比来实现亮度区别。

当然不懂也没关系,这门课只需要知道我们使用时的方法------数值

一般情况下,我们使用8位数据(0-255)来描述一切颜色。

例如黑白,纯黑为数值0(灯光关闭);纯白为255(占空比为100%,灯光全开)

那么灰色是什么呢?

没错,就是0-255之间的数。

例如:127代表中间灰度值(占空比近似为50%)

而图像的大小,就是指这些像素的总数量。(文件大小通常大于图像大小)

插一个小问题,那么彩色是怎么做到的?

如果不知道的可以去查一下RGB/HSV(Red Green Blue colour format/Hue Saturation Value)。当然其实很简单,用三原色的LED灯组合出一个彩色像素就行了。这也是彩色的图像大小通常比较大的原因。
图.4.RGB格式圆盘

但是灰度在医疗图像,如X光中,到底代表了什么?

灰度在X光中,实际上代表了不同的物质。

不同物质对于X光的吸收率是不同的,例如,骨骼吸收更多X光,于是在图像中表现为亮区域;空气几乎无法吸收X光,最终表现为暗区域。

组织 对X射线的阻挡能力
空气 最弱
肌肉 中等
骨头 最强

图.5.胸部X光(复)

现在我们回看这张胸部X光,可以很直观的理解灰度。

但我们思考一下,如果两种物质的密度相近,对X光吸收额能力相近,那么X光如何区分?答案是没办法区分。

于是我们需要更好的方法。

2.6 对比度的意义

为了解决数据相近带来的区分困难问题,我们需要做的是将信号差异变大。

我们称之为对比度(Contrast):指不同组织在图像中的差异。

我们要做的有两件事:

1:增强差异(Enhancement)

2:寻找隐藏特征/特征萃取(Feature Extraction)

我们需要做的是:滤波、边缘检测、分割、压缩、识别等。

当然,这些我们后面再说。

2.7 医学文件格式:.DICOM

DICOM,全称Digital Imaging and Communications in Medicine。

所有图像文件实际上都包含了两部分:

1:图像数据(Image Data)

保存了图像本身的像素值

2:元数据(Meta Data)

保存了描述数据的数据

在DICOM中,元数据通常为以下内容:

  • 成像类型(CT、MRI、PET)
  • 扫描协议
  • 病人信息
  • 扫描时间
  • 像素尺寸(Pixel Size)
  • Slice Thickness(层厚)
  • 总切片数

等等。

例如我们需要知道肿瘤大小,我们仅仅知道肿瘤占据的体素大小是不够的,我们还需要知道每个元素代表的大小。

2.7 医学图像的解剖切面(Anatomical Plane)

图.6.医学图像切面

医学领域中,

将横切面(Transverse plane)称为 Axial plane(轴向切面)

将竖切面称为 Sagittal plane(矢状面)(旁矢状面 parasagittal plane 指与矢状面平行的其余面)

将前切面称为 Coronal plane(冠状面)

这是谁翻译的,我应援棒充好电了。开玩笑的,由于我不是医学专业的,我不知道是什么原因翻译出来的,如果有人看到可以教一下我。我猜或许是因为形状,但我认为这种名词不具有普适性。

其余任何平面都称为斜切面(oblique plane)
图.7.脑部不同方向的切面

2.8 医疗成像判断指标

医学成像领域有以下重要指标:

Sensitivity(敏感度)

Specificity(特异度)

Positive Predictive Value(阳性预测值)

Negative Predictive Value(阴性预测值)

现在我们来详细介绍一下

Sensitivity(敏感度)

指发现情况的概率

例如,一项癌症检测技术在一万个患癌的人中能检测出9990个癌症,那么灵敏度就是99.9%。

Specificity(特异度)

与灵敏度相反,特异度是指不误报情况的概率

例如,一项癌症检测技术在一万个不患癌的人中检测出10个癌症,那么特异度就是99.9%。

Positive Predictive Value(阳性预测值)

阳性预测值 = 真阳性/(真阳性+假阳性)

真阳性是指检测出来患病,且确实患病;假阳性是指检测出来患病,但并没有真的患病。

所以显而易见,这个公式实际上在计算敏感度。

Negative Predictive Value(阴性预测值)

阴性预测值 = 真阴性/(真阴性+假阴性)

与上述同理,这实际上在计算特异度。

讲到这里时,周博士问了我们一个问题:"你们觉得100%的敏感度好吗?"

如果敏感度为100%,理想状态下当然是好的。

但现实情况是,我们不可能在能控制特异度的情况下达到100%敏感度。

靠近100%的极限,会导致敏感度骤降。

但我们必须考虑一个问题,如果监测目标是急重症或烈性传染病,那我们必须优先保证极高的敏感度,而可以牺牲一些特异度。

这被称之为:取舍

三、人工智能声明及个人声明

我声明我使用了人工智能Deep seek、M365 Copilot帮助理解、搜索信息。

本躯水平有限,恳请斧正。

四、参考

老师:

Dr Luping Zhou,USYD

部分参考:

University of Sydney - course ELEC5622 Signals, Software and Health

图片搜索来源:

Google.com

相关推荐
手写码匠5 小时前
华为云Flexus+DeepSeek征文|Dify 多 Agent 灰度发布实战:让每一次变更都“小步快跑、随时可回滚“
人工智能·深度学习·算法·aigc
TonyLee0176 小时前
神经网络门控机制探讨
人工智能·深度学习·神经网络
JAI科研6 小时前
Deepseek Agent Harness教程(二) | DeepSeek Harness 设计思路
人工智能·深度学习·算法·机器学习·自然语言处理·transformer·vllm
还不秃顶的计科生6 小时前
具身智能论文学习10:π0: A Vision-Language-Action Flow Model for General Robot Control
人工智能·深度学习·算法·机器学习·语言模型·vla·vlm
段一凡-华北理工大学19 小时前
AI推动工业智能化转型~系列文章24:钢铁工业 AI 全景图:从原料场到轧机的场景地图
人工智能·深度学习·模型生命周期·钢铁工业·ai全景
chen_zn9521 小时前
《VLA 系列》Human-to-Robot Transfer | 人类视频共训练 | 跨本体涌现迁移 | 论文解析
人工智能·深度学习·transformer·具身智能·vla
CCC:CarCrazeCurator1 天前
DeepSeek‑Harness Windows 本地快速上手
深度学习·数据挖掘
还不秃顶的计科生1 天前
具身智能论文学习8:Octo: An Open-Source Generalist Robot Policy
人工智能·深度学习·学习·机器学习·语言模型·vla·vlm
lucas_AI1 天前
1.2B 小模型赢过 235B 大模型:NaviDC-OCR 把文档解析卷明白了
人工智能·深度学习·算法