第R3周：RNN-心脏病预测

🍨 本文为🔗365天深度学习训练营中的学习记录博客

🍖 原作者：K同学啊
🍺要求：
1
本地读取并加载数据。
2
了解循环神经网络（RNN）的构建过程
3
测试集accuracy到达87%
🍻拔高：
1
测试集accuracy到达89%!

我们的代码流程图如下所示：

一、RNN是什么

传统神经网络的结构比较简单：输入层 -- 隐藏层 -- 输出层

RNN 跟传统神经网络最大的区别在于每次都会将前一次的输出结果，带到下一次的隐藏层中，一起训练。如下图所示：

这里用一个具体的案例来看看 RNN 是如何工作的：用户说了一句"what time is it？"，我们的神经网络会先将这句话分为五个基本单元（四个单词+一个问号）

然后，按照顺序将五个基本单元输入RNN网络，先将 "what"作为RNN的输入，得到输出01

以此类推，我们可以看到，前面所有的输入产生的结果都对后续的输出产生了影响（可以看到圆形中包含了前面所有的颜色）

二、前期准备

1. 设置GPU

python 复制代码

import tensorflow        as tf

gpus = tf.config.list_physical_devices("GPU")

if gpus:
    gpu0 = gpus[0]                                        #如果有多个GPU，仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True)  #设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0],"GPU")
    
gpus

2. 导入数据

🥂 数据介绍：

●

age：1) 年龄

●

sex：2) 性别

●

cp：3) 胸痛类型 (4 values)

●

trestbps：4) 静息血压

●

chol：5) 血清胆甾醇 (mg/dl

●

fbs：6) 空腹血糖 > 120 mg/dl

●

restecg：7) 静息心电图结果 (值 0,1 ,2)

●

thalach：8) 达到的最大心率

●

exang：9) 运动诱发的心绞痛

●

oldpeak：10) 相对于静止状态，运动引起的ST段压低

●

slope：11) 运动峰值 ST 段的斜率

●

ca：12) 荧光透视着色的主要血管数量 (0-3)

●

thal：13) 0 = 正常；1 = 固定缺陷；2 = 可逆转的缺陷

●

target：14) 0 = 心脏病发作的几率较小 1 = 心脏病发作的几率更大

python 复制代码

import pandas as pd
import numpy as np

df = pd.read_csv("/home/aiusers/space_yjl/深度学习训练营/进阶/第R3周：RNN-心脏病预测/heart.csv")
df

3. 检查数据

python 复制代码

# 检查是否有空值
df.isnull().sum()

三、数据预处理 1. 划分训练集与测试集

🍺 测试集与验证集的关系：

验证集并没有参与训练过程梯度下降过程的，狭义上来讲是没有参与模型的参数训练更新的。

但是广义上来讲，验证集存在的意义确实参与了一个"人工调参"的过程，我们根据每一个epoch训练之后模型在valid data上的表现来决定是否需要训练进行early stop，或者根据这个过程模型的性能变化来调整模型的超参数，如学习率，batch_size等等。

我们也可以认为，验证集也参与了训练，但是并没有使得模型去overfit验证集。

python 复制代码

from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split

X = df.iloc[:,:-1]
y = df.iloc[:,-1]

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.1, random_state = 1)

python 复制代码

X_train.shape, y_train.shape

2. 标准化

python 复制代码

# 将每一列特征标准化为标准正太分布，注意，标准化是针对每一列而言的
sc      = StandardScaler()
X_train = sc.fit_transform(X_train)
X_test  = sc.transform(X_test)

X_train = X_train.reshape(X_train.shape[0], X_train.shape[1], 1)
X_test  = X_test.reshape(X_test.shape[0], X_test.shape[1], 1)

四、构建RNN模型

关键参数说明

●

units: 正整数，输出空间的维度。

●

activation: 要使用的激活函数。默认：双曲正切（tanh）。如果传入 None，则不使用激活函数 (即线性激活：a(x) = x)。

●

use_bias: 布尔值，该层是否使用偏置向量。

●

kernel_initializer: kernel 权值矩阵的初始化器，用于输入的线性转换 (详见 initializers)。

●

recurrent_initializer: recurrent_kernel 权值矩阵的初始化器，用于循环层状态的线性转换 (详见 initializers)。

●

bias_initializer:偏置向量的初始化器 (详见initializers).

●

dropout: 在 0 和 1 之间的浮点数。单元的丢弃比例，用于输入的线性转换。

python 复制代码

import tensorflow
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense,LSTM,SimpleRNN

model = Sequential()
model.add(SimpleRNN(128, input_shape= (13,1),return_sequences=True,activation='relu'))
model.add(SimpleRNN(64,return_sequences=True, activation='relu'))
model.add(SimpleRNN(32, activation='relu'))
model.add(Dense(64, activation='relu'))
model.add(Dense(32, activation='relu'))
model.add(Dense(1, activation='sigmoid'))
model.summary()

五、编译模型

python 复制代码

opt = tf.keras.optimizers.Adam(learning_rate=1e-4)
model.compile(loss='binary_crossentropy', optimizer=opt,metrics=['accuracy'])

六、训练模型

python 复制代码

epochs = 100

history = model.fit(X_train, y_train, 
                    epochs=epochs, 
                    batch_size=128, 
                    validation_data=(X_test, y_test),
                    verbose=1)

七、模型评估

python 复制代码

import matplotlib.pyplot as plt

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']

loss = history.history['loss']
val_loss = history.history['val_loss']

epochs_range = range(epochs)

plt.figure(figsize=(14, 4))
plt.subplot(1, 2, 1)

plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

八、总结

代码功能概述

这段代码使用 TensorFlow 库构建了一个简单的基于循环神经网络（RNN）的模型，用于心脏病预测（从代码上下文推测用途，具体采用了较为简单的 SimpleRNN 层作为循环层来处理序列数据，并在此基础上搭建了后续的全连接层，最终输出一个介于 0 到 1 之间的值用于预测某种二分类结果（例如是否患有心脏病），0 和 1 分别对应不同类别（比如 0 表示未患病，1 表示患病）。

模型结构

循环层：

首先添加了一个 SimpleRNN 层，设置了该层有 200 个神经元，输入形状为 (13, 1)，意味着输入的数据应该是一个形状为 (样本数量，时间步长为 13, 特征维度为 1) 的三维张量，激活函数选用了 relu（修正线性单元，能加快训练收敛速度等优点），这个 SimpleRNN 层会对输入的序列数据按时间步依次处理，提取其中的特征信息并传递给后续层。

全连接层：

接着添加了一个具有 100 个神经元的 Dense （全连接层），激活函数同样为 relu，起到进一步特征整合、变换的作用，将 SimpleRNN 层输出的特征进一步映射到新的空间维度。

最后又添加了一个只有 1 个神经元的 Dense 层，激活函数为 sigmoid，用于输出最终的预测概率值，将前面层处理后的特征转换为一个 0 到 1 之间的概率，方便进行二分类的判断。