神经网络基础-神经网络补充概念-54-softmax回归

概念

Softmax回归(Softmax Regression)是一种用于多分类任务的机器学习算法,特别是在神经网络中常用于输出层来进行分类。它是Logistic回归在多分类问题上的推广。

原理

Softmax回归的主要思想是将原始的线性分数(得分)转化为类别概率分布,使得模型可以对多个类别进行分类。在Softmax回归中,每个类别都有一个权重向量和偏置项,将输入特征与权重相乘并添加偏置,然后通过Softmax函数将分数转化为概率。

Softmax函数可以将一个K维的向量(K个类别的分数)映射成一个K维的概率分布。假设有K个类别,对于给定的输入向量x,Softmax函数的计算公式如下:

其中, P ( y = i ∣ x ) P(y=i | x) P(y=i∣x) 表示在给定输入x的情况下,样本属于第i个类别的概率, z i z_i zi 是输入x在第i个类别上的得分。Softmax函数的分母是对所有类别的得分进行指数运算后的和。

Softmax回归的训练过程通常使用交叉熵损失函数(Cross-Entropy Loss),用于衡量模型预测的概率分布与真实标签的差距。

代码实现

python 复制代码
import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.optimizers import SGD
from sklearn.preprocessing import OneHotEncoder

# 生成随机数据
np.random.seed(0)
X = np.random.rand(100, 10)
y = np.random.randint(3, size=(100, 1))

# 对标签进行独热编码
encoder = OneHotEncoder(sparse=False)
y_onehot = encoder.fit_transform(y)

# 构建Softmax回归模型
model = Sequential()
model.add(Dense(3, input_dim=10, activation='softmax'))

# 编译模型
model.compile(optimizer=SGD(lr=0.01), loss='categorical_crossentropy', metrics=['accuracy'])

# 训练模型
model.fit(X, y_onehot, epochs=50, batch_size=32)
相关推荐
聚客AI14 分钟前
Embedding进化论:从Word2Vec到OpenAI三代模型技术跃迁
人工智能·llm·掘金·日新计划
weixin_3875456433 分钟前
深入解析 AI Gateway:新一代智能流量控制中枢
人工智能·gateway
聽雨2371 小时前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
二川bro1 小时前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm1 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl1 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络
羊小猪~~2 小时前
数据库学习笔记(十七)--触发器的使用
数据库·人工智能·后端·sql·深度学习·mysql·考研
摸爬滚打李上进2 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
HuashuiMu花水木2 小时前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
lishaoan772 小时前
使用tensorflow的线性回归的例子(四)
人工智能·tensorflow·线性回归