4.1 多层感知机 MLP 笔记

多层感知机(multilayer perceptron, MLP)

4.1.1 隐藏层

MLP 中的隐藏层和输出层都是全连接层.

4.1.2 激活函数

ReLU函数: ReLU ⁡ ( x ) = max ⁡ ( x , 0 ) \operatorname{ReLU}(x) = \max(x, 0) ReLU(x)=max(x,0)

sigmoid函数: sigmoid ⁡ ( x ) = 1 1 + exp ⁡ ( − x ) \operatorname{sigmoid}(x) = \frac{1}{1 + \exp(-x)} sigmoid(x)=1+exp(−x)1

tanh函数: tanh ⁡ ( x ) = 1 − exp ⁡ ( − 2 x ) 1 + exp ⁡ ( − 2 x ) \operatorname{tanh}(x) = \frac{1 - \exp(-2x)}{1 + \exp(-2x)} tanh(x)=1+exp(−2x)1−exp(−2x)

学习来源:
https://zh-v2.d2l.ai/chapter_multilayer-perceptrons/mlp.html#id2

相关推荐
大苏打seven1 小时前
Docker学习笔记:Docker网络
笔记·学习·docker
kikikidult5 小时前
(2025.07)解决——ubuntu20.04系统开机黑屏,左上角光标闪烁
笔记·ubuntu
近津薪荼5 小时前
初学者关于数据在内存中的储存的笔记
笔记
碎叶城李白7 小时前
若依学习笔记1-validated
java·笔记·学习·validated
HuashuiMu花水木9 小时前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
笑衬人心。11 小时前
Ubuntu 22.04 修改默认 Python 版本为 Python3 笔记
笔记·python·ubuntu
金色光环12 小时前
【Modbus学习笔记】stm32实现Modbus
笔记·stm32·学习
zyxzyx66613 小时前
Flyway 介绍以及与 Spring Boot 集成指南
spring boot·笔记
西岭千秋雪_14 小时前
Redis性能优化
数据库·redis·笔记·学习·缓存·性能优化
HuashuiMu花水木15 小时前
Matplotlib笔记4----------图像处理
图像处理·笔记·matplotlib