【深度学习笔记】Softmax 回归

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记,视频由网易云课堂与 deeplearning.ai 联合出品,主讲人是吴恩达 Andrew Ng 教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习,视频的链接如下:

神经网络和深度学习 - 网易云课堂

也欢迎对神经网络与深度学习感兴趣的网友一起交流 ~

目录

[1 Softmax 激活函数](#1 Softmax 激活函数)

[2 Softmax 分类器](#2 Softmax 分类器)


1 Softmax 激活函数

对于分类问题,如果有多个分类结果,那么 Logistic 回归就不再适用了。Softmax 回归(Softmax Regression)是 Logistic 回归的一般形式,可以用于区分多个类别的情形,不只是两个分类。

假设有一个图片分类问题,你想要区分小猫、小狗、小鸡,不属于这三种图片的则归于其他。

用 C 表示类别的数量,分类器输出层包含的神经元数量应该等于 C,输出层每个神经元的输出表示该类别的概率值,并且所有输出概率之和应等于 1.

为了做到这一点,你需要使用 Softmax 激活函数,Softmax 激活函数首先对 z 值进行指数运算,得到非负数,然后作归一化处理。

相比其他激活函数,Softmax 激活函数的特殊之处在于,它的输入是一个 Cx1 维的向量,并且它的输出也是一个 Cx1 维的向量。

2 Softmax 分类器

实际上,Softmax 回归是 Logistic 回归的推广,如果分类结果恰好为 2,那么 Softmax 回归就变回到了 Logistic 回归(由于输出概率之和为 1,所以 Softmax 分类有一个输出节点是冗余的)。

Softmax 回归在单个样本上的损失函数定义为

当 yj = 1, j ∈ {0, 1, 2, ... , C-1} 时,其他分量为 0,因此最小化损失函数等价于最大化 log(\hat{y_{j}}),即最大化 \hat{y_{j}},又由于 \hat{y_{j}} 最大值为 1,所以优化算法会尽可能让 \hat{y_{j}} 接近 1,也就是接近 yj .

Softmax 回归在训练集上的代价函数定义为

相关推荐
明明真系叻1 小时前
最优传输理论学习(1)+PINN文献阅读
深度学习·学习
老王熬夜敲代码2 小时前
C++继承回顾
c++·笔记
weixin_456904273 小时前
Transformer架构发展历史
深度学习·架构·transformer
番茄寿司3 小时前
具身智能六大前沿创新思路深度解析
论文阅读·人工智能·深度学习·计算机网络·机器学习
摇滚侠4 小时前
Spring Boot3零基础教程,整合 SSM,笔记52
java·spring boot·笔记
lbai71345 小时前
Perf-Ninja听课笔记 - 环境配置及Warmup
笔记·性能优化
递归不收敛5 小时前
四、高效注意力机制与模型架构
人工智能·笔记·自然语言处理·架构
陈苏同学6 小时前
笔记1.4:机器人学的语言——三维空间位姿描述 (旋转矩阵 - 齐次变换矩阵 - 欧拉角 - 四元数高效表示旋转)
笔记·线性代数·算法·机器人
岑梓铭6 小时前
考研408《计算机组成原理》复习笔记,第五章(5)——CPU的【指令流水线(含中断)】
笔记·考研·408·计算机组成原理·计组
递归不收敛6 小时前
多模态学习大纲笔记(未完成)
人工智能·笔记·学习·自然语言处理