4.1 多层感知机 MLP 笔记

多层感知机(multilayer perceptron, MLP)

4.1.1 隐藏层

MLP 中的隐藏层和输出层都是全连接层.

4.1.2 激活函数

ReLU函数: ReLU ⁡ ( x ) = max ⁡ ( x , 0 ) \operatorname{ReLU}(x) = \max(x, 0) ReLU(x)=max(x,0)

sigmoid函数: sigmoid ⁡ ( x ) = 1 1 + exp ⁡ ( − x ) \operatorname{sigmoid}(x) = \frac{1}{1 + \exp(-x)} sigmoid(x)=1+exp(−x)1

tanh函数: tanh ⁡ ( x ) = 1 − exp ⁡ ( − 2 x ) 1 + exp ⁡ ( − 2 x ) \operatorname{tanh}(x) = \frac{1 - \exp(-2x)}{1 + \exp(-2x)} tanh(x)=1+exp(−2x)1−exp(−2x)

学习来源:
https://zh-v2.d2l.ai/chapter_multilayer-perceptrons/mlp.html#id2

相关推荐
这就是佬们吗2 小时前
初识 docker [上]
java·开发语言·笔记·docker·容器
Star在努力3 小时前
15-C语言:第15天笔记
c语言·笔记·算法
老虎06274 小时前
JavaWeb(苍穹外卖)--学习笔记14
笔记·学习
范纹杉想快点毕业5 小时前
Zynq SOC FPGA嵌入式裸机设计和开发教程自学笔记:硬件编程原理、基于SDK库函数编程、软件固化
网络·笔记·stm32·单片机·嵌入式硬件·tcp/ip·fpga开发
Warren987 小时前
Java Collections工具类
java·开发语言·笔记·python·学习·oracle·硬件工程
五行缺弦8 小时前
Java 笔记 serialVersionUID
java·开发语言·笔记
破碎的南瓜8 小时前
OSPF笔记
网络·笔记·智能路由器
ssjnbnbnb10 小时前
数据库概述(学习笔记)
数据库·笔记·学习
笑衬人心。10 小时前
JVM 笔记:类加载、内存管理、垃圾收集与垃圾收集器
java·jvm·笔记
无妄之灾|11 小时前
HCIP笔记(第一、二章)
笔记·hcip