深度学习基本函数

1、softmax归一化函数

把模型输出的score转换为概率,并且通过指数运算,放大了score之间的差距

python 复制代码
#在pytorch中这样引用
import torch
import torch.nn.functional as F

scores = torch.tensor([3.2, 1.3, 0.2])
print(F.softmax(scores, dim=0))
# 输出: tensor([0.8338, 0.1247, 0.0415])

# 原始算法如下
import numpy as np
a=np.array([1,2,3])

exp2=np.exp(a)
print(exp2/np.sum(exp2)) # [0.09003057 0.24472847 0.66524096]

print(np.max(a))  # 3
print(a-np.max(a)) # [-2 -1  0]
exp=np.exp(a-np.max(a))  # 减去最大值防止数值爆炸
print(exp) # [0.13533528 0.36787944 1.        ]
print(exp/np.sum(exp))  # [0.09003057 0.24472847 0.66524096]

2、损失函数

模型输出 :预测概率分布(例如,通过 Softmax 得到 [0.834, 0.125, 0.041]

真实情况 :真实标签的分布(例如,图片真实是"猫",我们用 one-hot 编码表示为 [1, 0, 0]

交叉熵计算过程:

H(P,Q)=−[P(猫)⋅log⁡(Q(猫))+P(狗)⋅log⁡(Q(狗))+P(兔子)⋅log⁡(Q(兔子))]

=−[(1)⋅log⁡(0.834)+(0)⋅log⁡(0.125)+(0)⋅log⁡(0.041)]

=−[log⁡(0.834)+0+0]

=−log⁡(0.834)

python 复制代码
#使用pytorch计算
import torch
import torch.nn as nn

# 定义损失函数
criterion = nn.CrossEntropyLoss()
outputs = torch.tensor([[3.2, 1.3, 0.2]]) 
labels = torch.tensor([0])

# 计算损失
loss = criterion(outputs, labels)
print(loss)


#手工这样计算
import numpy as np
a=np.array([3.2, 1.3, 0.2])
s=np.exp(a)/np.sum(np.exp(a))
print(-1*np.log(s[0]))

不同的任务,选择不同的损失函数,常见的

分类任务 :首选交叉熵

回归任务 :首选MSEMAE(MSE更常用,若数据有较多离群点可考虑MAE)。

相关推荐
X.AI66613 分钟前
YouTube评论情感分析项目84%正确率:基于BERT的实战复现与原理解析
人工智能·深度学习·bert
艾莉丝努力练剑19 分钟前
【C++:继承】面向对象编程精要:C++继承机制深度解析与最佳实践
开发语言·c++·人工智能·继承·c++进阶
小宁爱Python34 分钟前
从零搭建 RAG 智能问答系统 6:Text2SQL 与工作流实现数据库查询
数据库·人工智能·python·django
Hard_Liquor35 分钟前
Datawhale秋训营-“大运河杯”数据开发应用创新大赛
人工智能·深度学习·算法
运维行者_1 小时前
AWS云服务故障复盘——从故障中汲取的 IT 运维经验
大数据·linux·运维·服务器·人工智能·云计算·aws
Saniffer_SH1 小时前
搭载高性能GPU的英伟达Nvidia DGX Spark桌面性能小怪兽国内首台开箱视频!
人工智能·深度学习·神经网络·ubuntu·机器学习·语言模型·边缘计算
数字化脑洞实验室1 小时前
AI决策vs人工决策:效率的底层逻辑与选择边界
人工智能
可触的未来,发芽的智生1 小时前
追根索源:换不同的词嵌入(词向量生成方式不同,但词与词关系接近),会出现什么结果?
javascript·人工智能·python·神经网络·自然语言处理
递归不收敛1 小时前
三、检索增强生成(RAG)技术体系
人工智能·笔记·自然语言处理