第R6周：LSTM实现糖尿病探索与预测

🍨 本文为🔗365天深度学习训练营中的学习记录博客
🍖 原作者：K同学啊

前言

本实验基于糖尿病患者健康指标数据集，学习使用深度学习模型LSTM完成糖尿病二分类预测任务。

实验主要流程包括：

导入实验所需Python库；
读取糖尿病数据集；
对数据进行基本分析；
检查数据缺失情况；
使用可视化方法分析不同身体指标与糖尿病之间的关系；
对数据进行预处理；
构建LSTM预测模型；
训练模型并进行测试评估。

Cell 1：导入库

python 复制代码

# 导入PyTorch基础神经网络工具包
import torch.nn as nn
# 导入PyTorch神经网络函数式接口
import torch.nn.functional as F
# 导入计算机视觉库与PyTorch主库
import torchvision,torch

# 设置硬件设备，优先使用GPU，无GPU则使用CPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
# 打印查看当前选用设备
device

该部分主要完成基础库的导入

其中：

torch用于构建和训练神经网络；
torch.nn提供LSTM、Linear等网络层；
device用于自动判断当前是否存在GPU。

如果存在GPU：则模型将在GPU上训练，提高计算效率。

Cell 2：导入数据处理与可视化库

python 复制代码

# 导入数值计算库numpy
import numpy as np
# 导入表格数据分析库pandas
import pandas as pd
# 导入可视化绘图库seaborn
import seaborn as sns
# 导入数据集划分工具
from sklearn.model_selection import train_test_split
# 导入matplotlib绘图核心模块
import matplotlib.pyplot as plt

# 设置图片保存分辨率
plt.rcParams['savefig.dpi'] = 500
# 设置画布展示分辨率
plt.rcParams['figure.dpi'] = 500
# 设置字体，解决matplotlib中文乱码问题
plt.rcParams['font.sans-serif'] = ['SimHei']

# 导入警告过滤模块
import warnings
# 全局忽略所有警告信息
warnings.filterwarnings("ignore")

# 读取excel糖尿病数据集，生成DataFrame表格
DataFrame=pd.read_excel('./dia.xls')
# 查看数据集前5行数据
DataFrame.head()

用于导入实验过程中所需的数据处理、可视化以及数据划分工具和读取糖尿病数据集。

主要包括：

NumPy：矩阵计算；
Pandas：数据读取和处理；
Seaborn、Matplotlib：数据可视化；
sklearn：数据集划分。

Cell 3：查看数据规模

python 复制代码

# shape属性：(行数,列数)，查看数据集样本总数与特征数量
DataFrame.shape

通过shape属性查看：

数据样本数量；
特征变量数量。

Cell 4：数据缺失值检测

python 复制代码

# 查看数据是否有缺失值
print('数据缺失值----------------------------------------')
# isnull()标记缺失值为True，sum()按列统计每一列缺失样本数量
print(DataFrame.isnull().sum())

检测数据中是否存在缺失值，医疗数据中如果存在缺失指标，可能影响模型训练，因此需要提前检查。

Cell 5：糖尿病相关指标探索分析（EDA）

python 复制代码

# 定义特征映射字典，键列名、值为图表显示中文名
feature_map = {
    '年龄': '年龄',
    '高密度脂蛋白胆固醇': '高密度脂蛋白胆固醇',
    '低密度脂蛋白胆固醇': '低密度脂蛋白胆固醇',
    '极低密度脂蛋白胆固醇': '极低密度脂蛋白胆固醇',
    '甘油三酯': '甘油三酯',
    '总胆固醇': '总胆固醇',
    '脉搏': '脉搏',
    '舒张压':'舒张压',
    '高血压史':'高血压史',
    '尿素氮':'尿素氮',
    '尿酸':'尿酸',
    '肌酐':'肌酐',
    '体重检查结果':'体重检查结果'
}
# 创建画布，设定画布尺寸 宽15 高10
plt.figure(figsize=(15, 10))
# 遍历所有特征，从1开始依次排布子图
for i, (col, col_name) in enumerate(feature_map.items(), 1):
    # 3行5列子图，当前第i个子图
    plt.subplot(3, 5, i)
    # 绘制箱线图：x轴为糖尿病标签，y轴为当前特征数值
    sns.boxplot(x=DataFrame['是否糖尿病'], y=DataFrame[col])
    # 设置子图标题
    plt.title(f'{col_name}的箱线图', fontsize=14)
    # 设置y轴标签
    plt.ylabel('数值', fontsize=12)
    # 开启y轴网格线，虚线、透明度0.7
    plt.grid(axis='y', linestyle='--', alpha=0.7)
# 自动紧凑排版，消除子图重叠
plt.tight_layout()
# 展示绘制图像
plt.show()

该部分属于探索性数据分析（EDA），通过箱线图观察不同身体指标在糖尿病患者以及非糖尿病患者之间的分布差异。

分析内容包括：

年龄；
血脂指标；
血压；
尿酸；
肌酐等。

通过可视化可以初步判断不同特征对于糖尿病预测的重要程度。

Cell 6：特征选择与预测标签提取以及数据集划分

python 复制代码

# 导入标准化工具
from sklearn.preprocessing import StandardScaler

# 特征筛选：删除卡号、标签列、负相关特征，剩余作为模型输入特征X
X = DataFrame.drop(['卡号', '是否糖尿病', '高密度脂蛋白胆固醇'],axis=1)
# 提取标签列，作为预测目标y（是否糖尿病）
y = DataFrame['是否糖尿病']

# 标准化代码
sc_X  = StandardScaler()
X = sc_X.fit_transform(X)

# numpy数组转为torch浮点张量，适配神经网络输入
X = torch.tensor(np.array(X), dtype=torch.float32)
# 标签转为torch长整型张量，适配分类损失函数输入
y = torch.tensor(np.array(y), dtype=torch.int64)

# 划分训练集、测试集，测试集占比20%，随机种子固定保证复现
train_X, test_X, train_y, test_y = train_test_split(X, y,
                                                    test_size=0.2,
                                                    random_state=1)
# 打印训练集特征、标签张量形状
train_X.shape, train_y.shape

该部分完成模型输入特征和预测标签的划分。

其中：输入特征 X包含患者身体健康指标：

年龄；
血压；
血脂；
尿酸；
肌酐等。

输出标签 y：是否糖尿病

修改情况

取消注释标准化部分的内容，对输入特征进行标准化处理。

处理后：

不同特征具有相近的数据尺度；
均值接近0；
方差接近1。

修改原因

原始数据中不同医学指标数值范围差异较大。如果直接输入LSTM：

大数值特征影响梯度更新；
小数值特征贡献降低；
模型训练不稳定。

标准化后：

消除不同特征量纲影响；
加快梯度下降收敛；
提升模型训练稳定性。

Cell 7：转换为PyTorch Tensor格式以及构建DataLoader

python 复制代码

# 导入张量数据集、批量加载器工具
from torch.utils.data import TensorDataset, DataLoader

# 封装训练集张量为数据集对象，构建训练加载器
# batch_size=64 每批次64个样本，shuffle=False不打乱数据
train_dl = DataLoader(TensorDataset(train_X, train_y),
                      batch_size=64,
                      shuffle=False)
# 封装测试集张量为数据集对象，构建测试加载器
test_dl  = DataLoader(TensorDataset(test_X, test_y),
                      batch_size=64,
                      shuffle=False)

PyTorch模型无法直接读取pandas数据，因此需要转换为Tensor格式。

Cell 8：LSTM模型构建

python 复制代码

# 自定义LSTM分类模型，继承nn.Module基类
class model_lstm(nn.Module):
    def __init__(self):
        super(model_lstm, self).__init__()
        # 第一层LSTM：输入维度13，隐藏层维度64，单层，batch放在第一维
        self.lstm0 = nn.LSTM(input_size=13 ,hidden_size=64,
                             num_layers=1, batch_first=True,
                             dropout=0.3)
        # 第二层LSTM：输入维度等于上一层隐藏维度64，隐藏层64
        self.lstm1 = nn.LSTM(input_size=64 ,hidden_size=64,
                             num_layers=1, batch_first=True,
                             dropout=0.3)
        # 全连接层：将200维隐藏特征映射为2分类输出
        self.fc0   = nn.Linear(64, 2)

    # 模型前向传播逻辑
    def forward(self, x):
        # 第一层LSTM前向计算，输出序列+最终隐状态、细胞状态
        out, hidden1 = self.lstm0(x)
        # 第二层LSTM复用上层隐状态继续计算
        out, _ = self.lstm1(out, hidden1)
        # 全连接层输出分类logits
        out    = self.fc0(out)
        return out

# 实例化模型并迁移至指定GPU/CPU设备
model = model_lstm().to(device)
# 查看模型结构
model

该部分构建用于糖尿病预测的LSTM分类网络。

修改一：hidden_size调整

原hidden_size=200修改为hidden_size=64

修改原因

原模型隐藏节点数量较大：

参数数量多；
学习能力过强。

训练过程中出现过拟合。

降低hidden_size可以在一定程度上：

减少参数；
降低模型复杂度；
提升泛化能力。

修改二：加入Dropout

增加dropout(0.3)

修改原因

Dropout能够随机关闭部分神经元。

训练过程中：

不依赖固定神经元；
减少模型记忆训练样本。

作用：

降低过拟合；
提升测试集表现。

Cell 9：模型训练函数

python 复制代码

# 训练一轮的函数：输入加载器、模型、损失函数、优化器
def train(dataloader, model, loss_fn, optimizer):
    size = len(dataloader.dataset)       # 数据集总样本数量
    num_batches = len(dataloader)         # 批次总数量
    train_loss, train_acc = 0, 0          # 初始化本轮总损失、总正确样本数

    # 遍历每一个批次数据
    for X, y in dataloader:
        # 特征、标签迁移至GPU/CPU设备
        X, y = X.to(device), y.to(device)

        pred = model(X)                    # 模型前向传播，得到预测值
        loss = loss_fn(pred, y)            # 计算预测与真实标签的损失

        # 反向传播梯度更新流程
        optimizer.zero_grad()              # 清空上一轮梯度
        loss.backward()                    # 损失反向传播，计算梯度
        optimizer.step()                   # 优化器根据梯度更新模型参数

        # 统计正确预测样本数、累加批次损失
        train_acc += (pred.argmax(1) == y).type(torch.float).sum().item()
        train_loss += loss.item()

    # 计算本轮平均准确率、平均损失
    train_acc /= size
    train_loss /= num_batches
    return train_acc, train_loss

该函数用于完成一次完整训练过程。

主要步骤：前向传播，输入X后经过LSTM模型得到预测结果；损失计算，使用CrossEntropyLoss来计算预测结果与真实标签之间的误差；反向传播，通过loss.backward来计算梯度；参数更新，通过optimizer.step来更新模型参数。

Cell 10：模型测试函数

python 复制代码

def test (dataloader, model, loss_fn):
    size        = len(dataloader.dataset)  # 测试集的大小
    num_batches = len(dataloader)          # 批次数目，(size/batch_size，向上取整)
    test_loss, test_acc = 0, 0

    # 当不进行训练时，停止梯度更新，节省计算内存消耗
    with torch.no_grad():
        for imgs, target in dataloader:
            imgs, target = imgs.to(device), target.to(device)

            # 计算loss
            target_pred = model(imgs)
            loss        = loss_fn(target_pred, target)

            test_loss += loss.item()
            test_acc  += (target_pred.argmax(1) == target).type(torch.float).sum().item()

    test_acc  /= size
    test_loss /= num_batches

    return test_acc, test_loss

该函数用于测试模型性能。

Cell 11：正式训练

python 复制代码

loss_fn = nn.CrossEntropyLoss()  # 创建损失函数
learn_rate = 1e-4  # 学习率
opt=torch.optim.AdamW(
    model.parameters(),
    lr=0.001,
    weight_decay=1e-4
)
epochs = 30

train_loss = []
train_acc = []
test_loss = []
test_acc = []

for epoch in range(epochs):
    model.train()
    epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, opt)

    model.eval()
    epoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)

    train_acc.append(epoch_train_acc)
    train_loss.append(epoch_train_loss)
    test_acc.append(epoch_test_acc)
    test_loss.append(epoch_test_loss)

    # 获取当前的学习率
    lr = opt.state_dict()['param_groups'][0]['lr']

    template = ('Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%, Test_loss:{:.3f}, Lr:{:.2E}')
    print(template.format(epoch+1, epoch_train_acc*100, epoch_train_loss,
                          epoch_test_acc*100, epoch_test_loss, lr))
print("="*20, 'Done', "="*20)

该部分定义模型训练过程中的损失函数、优化器

修改一：Adam改为AdamW

修改原因

Adam优化器虽然收敛速度快，但是容易使模型过度拟合。AdamW加入了权重衰减。

作用：

限制参数过大；
减少模型复杂度；
提升泛化能力。

Cell 12：训练结果可视化

python 复制代码

import matplotlib.pyplot as plt
#隐藏警告
import warnings
warnings.filterwarnings("ignore")          #忽略警告信息
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False   # 用来正常显示负号
plt.rcParams['figure.dpi'] = 100            #分辨率

from datetime import datetime
current_time = datetime.now() # 获取当前时间

epochs_range = range(epochs)

plt.figure(figsize=(12, 3))
plt.subplot(1, 2, 1)

plt.plot(epochs_range, train_acc, label='Training Accuracy')
plt.plot(epochs_range, test_acc, label='Test Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.xlabel(current_time) # 打卡请带上时间戳，否则代码截图无效

plt.subplot(1, 2, 2)
plt.plot(epochs_range, train_loss, label='Training Loss')
plt.plot(epochs_range, test_loss, label='Test Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

实验总结与收获

我完成了基于LSTM网络的糖尿病预测任务，并掌握了从数据分析、数据预处理到深度学习模型训练的完整流程。掌握通过EDA分析了解不同健康指标与糖尿病之间的关系，并通过StandardScaler完成数据标准化，使不同特征具有统一的数据尺度，提高了模型训练稳定性，同时在模型调参方面，掌握了通过调整网络结构参数、优化器和正则化方法降低过拟合、提升模型泛化能力的能力。当然，从训练结果来看，仍然存在较为明显的过拟合问题。在初期，能够有效学习数据特征，训练集和测试集准确率均持续提升，第5个epoch时达到较好的效果，但随着训练轮次增加，训练集准确率持续提高，训练损失不断下降，而测试集准确率却没有提升，测试损失反而逐渐升高，说明模型逐渐过拟合，泛化能力下降。