【深度学习】基于MXNet的多层感知机的实现

多层感知机

结构组成

大致由三层组成:输入层-隐藏层-输出层,其中隐藏层大于等于一层

其中,隐藏层和输出层都是全连接

隐藏层的层数和神经元个数也是超参数

多层隐藏层,在本质上仍等价于单层神经网络(可从输出方程简单推得),

但是增加网络的深度可以更加有效地提高网络对深层抽象概念的理解,降低训练难度

激活函数

目前Sigmoid函数正在被逐渐淘汰,目前仅在二分类问题上仍有用武之地

目前最主流的激活函数是ReLU函数及其变种,它使模型更加简单高效,没有梯度消失问题,对输入的敏感程度更高,迭代速度更快

具体实现

  • 完整版本
python 复制代码
import d2lzh as d2l
from mxnet import nd
from mxnet.gluon import loss as gloss

'''
基础准备工作
'''
batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

num_inputs, num_outputs, num_hiddens = 784, 10, 256

W1 = nd.random.normal(scale=0.01, shape=(num_inputs, num_hiddens))      # 形状等于 输入*输出
b1 = nd.zeros(num_hiddens)
W2 = nd.random.normal(scale=0.01, shape=(num_hiddens, num_outputs))      # 形状等于 输入*输出
b2 = nd.zeros(num_outputs)
params = [W1, W2, b1, b2]
for param in params:
    param.attach_grad()     # 统一申请梯度空间
    
# 激活函数
def relu(X):
    return nd.maximum(X, 0)

# 模型
def net(X):
    # 一个图片样本正好转化成1*num_inputs的大小,不是巧合,就是要一次性把整张图片放进网络
    X = X.reshape((-1, num_inputs)) 
    H = relu(nd.dot(X, W1)+b1)      # 隐藏层需要应用激活函数
    return nd.dot(H, W2) + b2       # 输出层不需要用激活函数

# 损失
loss = gloss.SoftmaxCrossEntropyLoss()

'''
开始训练
'''
num_epochs, lr = 20, 0.2
d2l.train_ch3(net, test_iter, test_iter, loss, num_epochs, batch_size, params, lr)
  • 简化版本
python 复制代码
import d2lzh as d2l
from mxnet import gluon, init
from mxnet.gluon import loss as gloss, nn

net = nn.Sequential()
# 添加一层256个节点的全连接层,并使用ReLU激活函数
# 再添加一层10个节点的全连接层,不使用激活函数(输出层)
net.add(nn.Dense(256, activation='relu'), 
		nn.Dense(10))
net.initialize(init.Normal(sigma=0.01))

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

loss = gloss.SoftmaxCrossEntropyLoss()

trainer = gluon.Trainer(net.collect_params(), 'sgd', {"learning_rate": 0.2})
num_epochs = 20
d2l.train_ch3(net, test_iter, test_iter, loss, num_epochs, batch_size, None, None, trainer)

实际上只简化了训练器的构建,由此也可以发现,实现一个网络的训练是一件非常简单的事情,复杂的主要是训练前后的各种处理,训练只是手段,不是目的

注意事项

尝试将隐藏层的数量改成1024,再增加训练次数,此时可以发现,模型对训练集的误差一直在缩小,但是对测试集的误差不降反增,此时发生了过拟合

相关推荐
go546315846510 分钟前
基于深度学习的食管癌右喉返神经旁淋巴结预测系统研究
图像处理·人工智能·深度学习·神经网络·算法
Blossom.11811 分钟前
基于深度学习的图像分类:使用Capsule Networks实现高效分类
人工智能·python·深度学习·神经网络·机器学习·分类·数据挖掘
宇称不守恒4.014 分钟前
2025暑期—05神经网络-卷积神经网络
深度学习·神经网络·cnn
CodeCraft Studio19 分钟前
借助Aspose.HTML控件,在 Python 中将 HTML 转换为 Markdown
开发语言·python·html·markdown·aspose·html转markdown·asposel.html
悠哉悠哉愿意38 分钟前
【电赛学习笔记】MaxiCAM 项目实践——与单片机的串口通信
笔记·python·单片机·嵌入式硬件·学习·视觉检测
封奚泽优43 分钟前
使用Python实现单词记忆软件
开发语言·python·random·qpushbutton·qtwidgets·qtcore·qtgui
想变成树袋熊1 小时前
【自用】NLP算法面经(6)
人工智能·算法·自然语言处理
Goona_1 小时前
拒绝SQL恐惧:用Python+pyqt打造任意Excel数据库查询系统
数据库·python·sql·excel·pyqt
格林威1 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现沙滩小人检测识别(C#代码UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
checkcheckck2 小时前
spring ai 适配 流式回答、mcp、milvus向量数据库、rag、聊天会话记忆
人工智能