单层感知机:输入层→输出层"(输出层 1 个神经元)



1.P为间隔,r代表数据的大小,r数据多则收敛变慢。
2.对 "理想分类参数w,b进行**归一化,**限制参数的 "规模"

无论怎么切都不能分割这两类别

多层感知机:输入层→隐藏层→输出层
回到xor问题,如何解决?

x,y代表样本的两个维度,中间层记录样本分类结果,输出层也为样本分类结果;类似于两个函数相加得到的结果

输入维度,隐层一个节点代表一个函数,输出为类别;
单分类:输出层用 1 个神经元 +激活

参数解释如下:



当西格玛为线性时

常用激活函数
一个指数运算
两个指数运算
不用指数运算(快,省)
多分类:输出层用N
个神经元 +激活

所有输入拉到0-1范围,使得y相加得到1(概率)

参数解释如下:




理解:多维数据输入,数据结果为类别则相较输入的维度数量较少,一般来说需要慢慢压缩维度,既使用多隐藏层;类似于右边网络变(大,小,小,不变)。

多层感知机从零实现




李沐深度学习35号视频Q&A