机器学习:Softmax介绍及代码实现

Softmax原理

Softmax函数用于将分类结果归一化,形成一个概率分布。作用类似于二分类中的Sigmoid函数。

对于一个k维向量z,我们想把这个结果转换为一个k个类别的概率分布p(z)。softmax可以用于实现上述结果,具体计算公式为:

对于k维向量z来说,其中zi∈Rzi∈R,我们使用指数函数变换可以将元素的取值范围变换到(0,+∞)(0,+∞),之后我们再所有元素求和将结果缩放到[0,1],形成概率分布。

常见的其他归一化方法,如max-min、z-score方法并不能保证各个元素为正,且和为1。

Softmax性质


输入向量x加上一个常数c后求softmax结算结果不变,即:

我们使用softmax(x)的第i个元素的计算来进行证明:

函数实现

由于指数函数的放大作用过于明显,如果直接使用softmax计算公式
进行函数实现,容易导致数据溢出(上溢)
。所以我们在函数实现时利用其性质:先对输入数据进行处理,之后再利用计算公式计算。具体使得实现步骤为:

  1. 查找每个向量x的最大值c;
  2. ++每个向量减去其最大值c++, 得到向量y = x-c;
  3. 利用公式进行计算 s o f t m a x ( x ) = s o f t m a x ( x − c ) = s o f t m a x ( y ) softmax(x) = softmax(x-c) = softmax(y) softmax(x)=softmax(x−c)=softmax(y)
python 复制代码
import numpy as np
def softmax(x, axim=1):
    '''
    x: m*n m个样本,n个分类输出
    return s:m*n
    '''
    row_max = np.max(x, axis=axis) # 计算最大值
    row_max = row_max.reshape(-1, 1) # 将数据展开为m*1的形状,方便使用广播进行作差
    x = x - row_max # 减去最大值
    x_exp = np.exp(x) # 求exp
    s = x_exp / np.sum(x_exp, axis=axis, keepdim=True) # 求softmax
    return s
相关推荐
凛铄linshuo36 分钟前
爬虫简单实操2——以贴吧为例爬取“某吧”前10页的网页代码
爬虫·python·学习
牛客企业服务38 分钟前
2025年AI面试推荐榜单,数字化招聘转型优选
人工智能·python·算法·面试·职场和发展·金融·求职招聘
胡斌附体1 小时前
linux测试端口是否可被外部访问
linux·运维·服务器·python·测试·端口测试·临时服务器
视觉语言导航1 小时前
RAL-2025 | 清华大学数字孪生驱动的机器人视觉导航!VR-Robo:面向视觉机器人导航与运动的现实-模拟-现实框架
人工智能·深度学习·机器人·具身智能
**梯度已爆炸**1 小时前
自然语言处理入门
人工智能·自然语言处理
likeGhee2 小时前
python缓存装饰器实现方案
开发语言·python·缓存
ctrlworks2 小时前
楼宇自控核心功能:实时监控设备运行,快速诊断故障,赋能设备寿命延长
人工智能·ba系统厂商·楼宇自控系统厂家·ibms系统厂家·建筑管理系统厂家·能耗监测系统厂家
项目題供诗2 小时前
黑马python(二十五)
开发语言·python
读书点滴2 小时前
笨方法学python -练习14
java·前端·python
笑衬人心。2 小时前
Ubuntu 22.04 修改默认 Python 版本为 Python3 笔记
笔记·python·ubuntu