基于Swin Transformer的皮肤病变分类与诊断系统

摘要：皮肤病变是全球范围内常见的健康问题，早期准确的诊断对于有效治疗至关重要。传统的皮肤病变诊断方法依赖于专业医生的经验，存在主观性强、效率低等问题。近年来，深度学习技术在医学影像分析中取得了显著进展，尤其是基于 Transformer 的模型，如 Swin Transformer，因其优异的特征提取能力和全局上下文建模能力，成为皮肤病变自动分类的研究热点。

作者：Bob(原创)

研究背景

皮肤病是全球最常见的疾病之一，涉及到皮肤、毛发和指甲的各种病变。随着生活水平的提高、环境污染加剧以及不健康的生活方式，皮肤病的发病率呈现上升趋势。许多皮肤病虽然不是致命性疾病，但会对患者的生活质量产生严重影响，尤其是如痤疮、湿疹等常见病症，长期未治疗或治疗不当可能导致慢性病变或并发症。因此，早期发现和准确诊断对于皮肤病的有效治疗至关重要。

传统的皮肤病诊断主要依赖于皮肤科医生的经验和目视检查，这不仅要求医生具备丰富的专业知识，还存在主观性较强、易受情境影响等问题。此外，皮肤病的种类繁多，部分病变的表现较为相似，增加了诊断的难度。随着计算机视觉技术的进步，基于人工智能的自动诊断方法逐渐进入医学领域，尤其是深度学习技术的应用，使得皮肤病的诊断变得更加精准和高效。

Swin Transformer，作为一种基于Transformer架构的视觉模型，因其强大的特征提取能力、对高分辨率图像的处理优势以及全局信息建模能力，已经在多个计算机视觉任务中取得了优异的表现。近年来，Swin Transformer也开始被应用于医学影像分析领域，尤其是在皮肤病变的自动分类和诊断中，展现出较传统方法更高的准确性和鲁棒性。

然而，尽管已有研究使用深度学习模型进行皮肤病的自动诊断，基于Swin Transformer的皮肤病变分类与诊断系统仍处于相对初步的探索阶段。现有的研究大多集中于单一病变类型的分类，缺乏对多种皮肤病变（如痤疮、湿疹、皮肤疣等）进行综合诊断的系统性研究。因此，建立一个基于Swin Transformer的皮肤病变分类与诊断系统，对推动皮肤病早期诊断、提高诊断效率和准确性，具有重要的学术意义和临床应用价值。

本研究旨在通过开发和优化基于Swin Transformer的皮肤病变自动分类与诊断系统，实现对多种皮肤病变的准确分类，进一步提高皮肤科临床诊断的效率和精确度。

算法概述

1.Swin Transformer

Swin Transformer由微软公司的研究人员推出，是一种有效结合了 CNN 和 Transformer模型优势的新型架构。它旨在以类似 CNN 的分层方式处理图像，同时利用变换器固有的自我关注机制。这种混合方法使 Swin 变换器能够有效处理各种规模的视觉信息，从而使其在广泛的视觉任务中具有高度的通用性和强大的功能。

Swin Transformer 的核心创新在于其分层结构和基于移位窗口的自我注意力机制。与标准视觉转换器（ViT）在整个图像中应用自我注意力不同，Swin Transformer将图像划分为不重叠的小窗口，在这些窗口内计算自我注意力，从而减少了计算复杂性。此外，Swin Transformer引入了窗口移位技术，使得在连续的Transformer块之间，图像区域能在不同层之间相互影响，从而更好地整合局部与全局上下文信息。

图1 Swin Transformer多层级表示和ViT对比

如图1所示，Swin Transformer从小的patch开始，通过在深层次逐步合并相邻patch的方式构建了一个层级化的表示。通过这些层级特征图，Swin Transformer可以像FPN和U-Net那样进行多尺度密集预测。通过对图像分区（用红色标出）进行非重叠窗口的局部自注意力计算实现了线性的计算复杂度。每个窗口的patch的个数是固定的，因此计算复杂度和图像的大小成线性关系。

相比于之前只能产生单一分辨率特征图和平方复杂度的Transformer模型，Swin Transformer适合作为各种视觉任务的通用主干网络（backbone）。

图2：Swin Transformer网络架构

该架构详细展示了 Swin-Transformer 模型如何通过逐层处理和 Patch Merging 实现高效的图像特征提取。每个阶段的 Swin Transformer Block 通过不同的自注意力机制（如 W-MSA 和 SW-MSA）逐步提升图像理解的深度。通过多层次的处理和特征合并，该模型在处理大规模图像数据时表现出色，特别适合于图像分类和目标检测等任务。

Swin Transformer解决了以往基于 CNN 和 Transformer的模型的几个局限性。首先，它的分层设计可以高效处理多种分辨率的图像，有助于完成需要同时了解精细细节和整体结构的任务，如物体检测和语义分割。其次，通过将自我关注机制定位到窗口并采用移位窗口，Swin Transformer 大幅降低了计算要求，使其更易于扩展到大型图像和数据集。最后，它的架构通过将局部特征无缝集成到更广泛的上下文中，实现了更好的特征学习，从而提高了各种视觉任务的性能。

系统设计

本系统旨在实现皮肤病变的自动化分析与诊断，采用"数据输入 + 模型推理 + 结果展示"的一体化工作流程。系统架构包括图像输入模块、图像预处理模块、数据集准备模块、Swin Transformer训练模块、推理与检测模块、用户交互界面模块、检测结果展示模块以及实验结果与性能评估模块。通过图形用户界面（GUI），前端界面支持用户便捷地导入皮肤病变相关影像数据并进行交互操作，后端则通过Swin Transformer模型进行实时的皮肤病变影像分析与分类，精准区分不同类型的皮肤病变，如痤疮、湿疹、皮肤疣、良性痣、恶性痣等。该系统能够帮助医生高效、准确地进行皮肤病变的诊断，提升诊断效率和准确性，同时为患者提供便捷的健康管理工具。

图3 诊断系统整体流程图

在皮肤病变影像分类任务中，Swin Transformer模型表现卓越，具备高准确性和高效率，能够精确区分不同类型的皮肤病变，如"痤疮"、"湿疹"、"皮肤疣"、"良性痣"和"恶性痣"等不同病理状态。该模型通过多尺度特征提取和局部窗口注意力机制，捕捉到皮肤病变影像中的细微特征，展现出强大的分类能力。因此，本系统在皮肤病变的早期诊断和治疗中具有巨大的应用潜力，能够为临床医生提供精确的辅助诊断工具，推动皮肤病变筛查过程的智能化进步。

数据集构建

1.数据来源

本系统使用的皮肤病影像数据主要来源于 DERMNET.COM 图片搜索，涵盖了如"痤疮"、"湿疹"、"皮肤疣"、"良性痣"和"恶性痣"等常见皮肤病的影像资料。通过整理和筛选这些图像数据，本系统构建了一个多样化的皮肤病影像数据集，包含不同皮肤病状态的影像特征，提供了高质量的训练数据。该数据集为推动深度学习和人工智能技术在皮肤病诊断中的应用提供了支持，并为早期诊断和智能筛查提供了有力的工具。

表2 数据集基本信息

该数据集包括"健康皮肤"和不同类型的皮肤病变（如"痤疮"、"湿疹"、"指甲真菌感染"、"皮肤疣"、"皮肤良性痣"和"皮肤恶性痣"）六种不同的皮肤病变影像状态。数据集不仅涵盖了不同类型的皮肤病变，还具有较高的影像质量，适用于皮肤病变分类任务，为皮肤病变的自动化诊断提供了高质量的训练数据。该数据集旨在推动深度学习和人工智能技术在医学影像分析领域中的应用，特别是在皮肤病变检测中，提供强有力的数据支持，旨在提高皮肤病变诊断的准确性和效率。

图4 数据集图片

本研究通过清洗与筛选原始皮肤病变影像数据，构建了一个包含"痤疮"、"湿疹"、"健康皮肤"、"指甲真菌感染"、"皮肤疣"、"皮肤良性痣"和"皮肤恶性痣"七种皮肤病变状态的影像数据集。数据集类别分布均衡，全面涵盖了不同皮肤病变状态，影像经过标准化处理与质量控制，确保样本的代表性与清晰度。该数据集为深度学习模型在皮肤病变分类中的应用提供了数据支撑，为医学影像分析的智能化研究奠定了基础。

2.分类方法

本系统所使用的皮肤病变影像数据的分类信息由专业人员完成。每个皮肤病变影像都被分配到一个明确的病变状态，如"痤疮"、"湿疹"、"健康皮肤"、"指甲真菌感染"、"皮肤疣"、"皮肤良性痣"和"皮肤恶性痣"。为确保分类的准确性和可靠性，分类过程由专业人员独立完成，并通过交叉验证的方式进行审核，从而有效降低个体差异带来的偏差，确保数据分类的一致性和权威性。该分类方法确保了数据集的高质量，并为后续基于深度学习模型的皮肤病变健康状态分类模型训练提供了坚实的数据支持。

（1）分类数据集格式

该格式主要用于皮肤病变分类任务，常见于Swin Transformer等深度学习模型的训练。其方法是将每张皮肤病变影像归类为"痤疮"、"湿疹"、"健康皮肤"、"指甲真菌感染"、"皮肤疣"、"皮肤良性痣"和"皮肤恶性痣"七种明确类别。该格式能够确保数据与模型在训练与推理过程中的高效匹配，从而提高分类精度和推理效率。Swin Transformer通过其分层结构和移位窗口自注意力机制，能够更好地处理影像中的局部与全局上下文信息，进一步提升了分类性能。这种格式简化了数据准备过程，并为基于Swin Transformer的皮肤病变分类模型训练提供了高效且标准化的数据输入。

图5 分类数据集格式

（2）数据集划分

标注后的数据集不仅包括图像文件，还包含对应的分类信息。经过上述所有步骤处理和验证后的图像数据被划分成训练集和测试集，形成最终的数据集，用于算法训练学习模型。

图5 数据集划分：测试集和训练集

模型训练

Swin Transformer 是一种常用于图像分类任务的深度学习模型。其训练过程主要包括以下几个步骤：配置文件与超参数的设置、训练过程的执行以及训练结果的可视化分析。Swin Transformer通过其分层结构和移位窗口自注意力机制，能够有效处理图像中的局部与全局上下文信息，进一步提升分类精度和效率。在训练过程中，Swin Transformer能够通过高效的计算方式应对大规模数据集，并且在多个图像分类任务中展现出了优异的性能。

图6 模型训练流程图

1.配置文件与超参数设置

以下是关于Swin Transformer模型训练过程中的配置文件和超参数设置，并通过配置文件以及相关参数进行训练设置。

表4 Swin Transformer模型训练超参数设置

2.模型性能评估

在 Swin Transformer模型的训练过程中，模型性能评估是衡量其在图像分类任务中表现的重要环节，能够全面反映模型在分类精度和泛化能力方面的表现。科学而准确的评估不仅有助于揭示模型的优势与不足，还能为后续的改进与优化提供可靠依据。

（1）训练与验证准确率和损失曲线

图7 Swin Transformer训练与验证准确率和损失曲线

该图展示了模型在训练和验证过程中的准确率和损失变化。训练准确率稳步上升，接近 90%，而验证准确率也随之提高，显示出模型在不同数据集上的良好适应性。训练损失和验证损失均呈下降趋势，表明模型在训练过程中有效地减少了误差，并且未发生明显的过拟合现象。这表明模型具有较强的泛化能力，能够在未见数据上保持较好的表现。

（2）混淆矩阵热力图

图8 Swin Transformer混淆矩阵热力图

模型的混淆矩阵，提供了每个类别预测的真实情况。从中可以看出，大部分类别（如湿疹和良性痣）的预测准确率较高，混淆矩阵中的值接近 1.00，意味着这些类别的误分类较少。然而，恶性痣（malignant Moles）类的预测准确度较低，尽管准确率为 0.85，但该类别与其他类别（如皮肤疣）存在一定的混淆，表明模型在处理该类别时存在一定的误差。

（3）各类的分类性能评估：准确率、精确率、召回率与F1分数图

图9 各类认知障碍的分类性能评估：准确率、精确率、召回率与F1分数图

展示了模型在不同类别上的表现，包括总体准确度、每类精度、召回率和F1分数。总体准确度为 0.91，显示了模型在测试集上的良好表现。每类精度大部分类别都很高，特别是湿疹（Eczema Photos）和健康皮肤（Healthy），其精度分别为 0.97 和 1.00。召回率同样表现良好，健康皮肤类别的召回率为 1.00，表明模型能够完全识别出这一类别。F1分数也表现优异，尤其是在湿疹和健康皮肤上，F1分数分别为 0.98 和 1.00，显示了较高的精度与召回率的平衡。

（4）训练日志（Training Log）

训练日志记录了Swin Transformer模型在训练过程中的详细信息，包括训练轮次、每轮的损失值、验证准确率以及训练时间等，这些信息帮助评估模型的训练效果和性能。

图10 Swin Transformer训练日志

图11 模型训练日志概要

功能展示

本系统基于深度学习的Swin Transformer模型，旨在实现皮肤病变影像的自动诊断与分类。系统集成了Swin Transformer模型，用于对皮肤病变影像进行特征提取、分类及诊断结果展示。通过对比不同模型的性能表现，本系统为皮肤病变的智能化、标准化诊断研究提供了技术支撑。以下为主要功能界面的展示：

系统主界面展示

系统主界面集成了皮肤病变影像上传、模型选择、实时分析及诊断结果展示等功能。用户可在界面中直观选择不同的深度学习模型（如Swin Transformer），上传皮肤病变影像后，系统将自动进行特征提取与分类分析，并生成对应的诊断结果。界面支持对模型预测结果的可视化展示，方便医生和科研人员对比不同模型在皮肤病变分类中的性能表现。系统支持诊断痤疮、湿疹、健康皮肤、指甲真菌感染、皮肤疣、皮肤良性痣和皮肤恶性痣等多种皮肤病变状态。

图12 系统主界面

图片检测功能

本系统基于Swin Transformer模型，支持对皮肤病变影像进行快速诊断。用户可以上传皮肤病变影像样本，系统会自动进行分析，识别皮肤病变的健康状态（如痤疮、湿疹、健康皮肤、指甲真菌感染、皮肤疣、皮肤良性痣、皮肤恶性痣等），并给出诊断结果、分类标签和置信度评分。诊断结果通过清晰的文本和图表直观呈现，帮助医生和科研人员快速评估不同模型（如Swin Transformer）在皮肤病变分类中的性能表现，从而为进一步的治疗决策提供支持。