深度学习--softmax回归

回归可以用于预测多少的问题,预测房屋出售价格,棒球队可能获胜的的常数或者患者住院的天数。

事实上,我们也对分类问题感兴趣,不是问 多少,而是问哪一个

1 某个电子邮件是否属于垃圾邮件

2 某个用户可能注册还是不注册订阅服务

3 某张图像描绘的是驴,狗,还是级?

4 某人接下来最有可能看哪部电影。

通常,机器学习实践者用分类问题描述两个有微妙差别的问题,如果我们支队样本的硬性类别感兴趣,就属于某个类别。如果我们希望得到软性类别,就属于某个类别的概率。 这两者的界限往往很模糊,其中的一个原因是,即使我们只关心硬性类别,我们也仍然使用软性类别的模型。

3.4.1 分类问题

从一个图像分类问题开始,每次输入一个2像素x2的灰度图像,每张图像对应4个特征,x1,x2,x3,x4.此外,假设每张图像属于类别猫,集盒狗中的一个。

接下来,我们要选择如何表示标签, 我们有两个明显的选择,最直接的想法式选择y 属于{1,2,3}其中整数分别对应 狗,猫,鸡。这是计算机上存储此类信息的有效方法。如果类别有一定的自然顺序,假如我们试图预测{婴儿,儿童,青少年,中年人,老年人},那么这个问题可以转变为回归问题,并且保留这种格式是有意义的。

但是一般的分类问题并不与类别之间的自然顺序有关,幸运的是,统计学家很早以前就写明了一种表示分类的简单方法,独热编码,独热编码是一个向量,它的分量和类别一样多,类别对应的分量设置为1,其他所有分量设置为0,在我们的例子中,标签y将是一个三维向量,其中(1,0,0)对应猫,(0,1,0)对应鸡,(0,0,1)对应为狗

3.4.2 网络架构

为了估计所有可能类别的条件概率,我们需要一个由多个输出的模型,每个类别对应一个输出,为了解决现行模型的分类问题,我们需要和输出一个多的放射函数,每个输出对应它自己的放射函数,在我们例子中,由于我们有4个特征和3个可能的输出类别,我们将需要12个标量来表示权重(带下标的w),3个标量来表示偏置(带下标的b)下面我们为每个输入计算3个未规范化的预测logit

:O1,..On

O1 = x1w11 + x2W12 + x3w13 +b1

O1 = x1w21 + x2W22 + x3w23 +b2

O1 = x1w31 + x2W32 + x3w33 +b3

我们可以用神经网络图像来描述这个计算过程,如图3-4所示,与线性回归一样,softmax回归也是一个单层的神经网络,由于计算每个输出o1,o2和o1取决于所有输入x1,x2,.x3和x4 因此softmax回归的输出层也是全连接层。

为了更简洁的表达模型,使用线性代数符号,通过向量形式表示为O = WX + b这是一种更适合数学和编写代码的形式,由此,我们已经将所有权重放到一个3x4矩阵中,对于给定数据样本的特征x,我们的输出是由权重与输入特征进行局长-向量 乘法再加上偏置b得到的。

3.4.3 全链路层的参数开销

正如我们将在后续章节中看到的,在深度学习中,全连接层无处不在,然而,顾名思义,全连接层是完全连接的,可能有很多可学习的参数,具体来说,对于任何具有d个输入和q个输出的全连接层,参数开销为O(dq),这个数字在实践中可能高得令人望而却步,幸运的是,将d个输入转换为q个输出的成本可以减少到O(dq/n),其中超参数n可以由我们灵活指定,以在实际应用中在参数节省和模型有效性之间进行权衡。

3.4.4 softmax运算

现在我们将优化参数以最大化观测数据的概率,为了得到预测结果,我们将设置一个阈值,如选择具有最大概率的标签。

我们希望模型的输出Yi可以视为属于类j的概率,然后选择具有最大输出值的类别argmaxxi,yi作为我们的预测,例如,如果yi,y2,和y3分别为0.1,0.8和0.1 那么我们预测的类别是2,在我们的例子中代表鸡。

然而我们能否将未规范化的预测O直接视作我们感兴趣的输出呢?答案是否定的,因为将现行层的输出直接视为概率时存在一些问题,一方面,我们没有限制这些输出数值的总和为1,线性层的输出直接视为概率时存在一些问题一方面,我们没有限制这些输出数值的总和为1,另一方面,根据输入的不同输出可以为负值,这些违反了2.6节中所述的概率论基本公里。

要将输出视为概率,我们必须保证在任何数据上的输出都是非负的且总和为1,此外,我们需要一个训练的目标函数,来激励模型精准的估计概率。例如,分类器输出0.5的所有样本中,我们希望这些样本中刚好有一半实际上属于预测的类,这个属性叫作校准。

在社会科学家于1959奶奶在选择模型理论的基础上发明的softmax函数正是这样做的;softmax函数能够将未规范化的预测变换为非负数并且总和为1,同时让模型保持可导的性质。为了实现这一目标,我们首先对每个未规范化的概率求幂,这样可以确保输出非负值,为了确保最终输出的概率值纵隔为1,我们再让每个求幂后的结果除以结果的总和,如下式。

Y^ = softmax(a),其中Yi^ = exp(Oj)/sigma exp(Oi)

这里对于所有的J总有0 <= Yj^ <=1,因此,y^可以视为一个正确的概率分布,softmax运算不会改变未规范化的预测O之间的大小次序,只会确定分配给每个类别的概率,因此,在预测过程中,我们仍然可以用下式选择最优可能的类别。

argmax Y^j = argmax Oj

尽管softmax是一个非线性函数,但softmax回归输出仍然由输入特征的放射变换决定,因此,softmax回归是一个线性模型。

相关推荐
与火星的孩子对话9 分钟前
Unity3D开发AI桌面精灵/宠物系列 【三】 语音识别 ASR 技术、语音转文本多平台 - 支持科大讯飞、百度等 C# 开发
人工智能·unity·c#·游戏引擎·语音识别·宠物
事变天下15 分钟前
今是科技发布全新测序仪G-seq1M:以效率与精准引领基因测序新标杆
人工智能·科技
贤小二AI19 分钟前
贤小二c#版Yolov5 yolov8 yolov10 yolov11自动标注工具 + 免python环境 GPU一键训练包
人工智能·深度学习·yolo
KarudoLee27 分钟前
AIGC7——AIGC驱动的视听内容定制化革命:从Sora到商业化落地
人工智能·aigc
Python之栈31 分钟前
PandasAI:当数据分析遇上自然语言处理
人工智能·python·数据分析·pandas
小杨40432 分钟前
python入门系列十三(多线程)
人工智能·python·pycharm
Z_W_H_37 分钟前
ArcGIS Pro/GeoScene Pro AI 助手 2.1
人工智能·arcgis·geoscene
意.远38 分钟前
在PyTorch中使用GPU加速:从基础操作到模型部署
人工智能·pytorch·python·深度学习
HelpHelp同学1 小时前
信息混乱难查找?三步搭建高效帮助中心解决难题
大数据·人工智能·知识库管理系统
羑悻的小杀马特3 小时前
OpenCV 引擎:驱动实时应用开发的科技狂飙
人工智能·科技·opencv·计算机视觉