深度学习基本函数

1、softmax归一化函数

把模型输出的score转换为概率,并且通过指数运算,放大了score之间的差距

python 复制代码
#在pytorch中这样引用
import torch
import torch.nn.functional as F

scores = torch.tensor([3.2, 1.3, 0.2])
print(F.softmax(scores, dim=0))
# 输出: tensor([0.8338, 0.1247, 0.0415])

# 原始算法如下
import numpy as np
a=np.array([1,2,3])

exp2=np.exp(a)
print(exp2/np.sum(exp2)) # [0.09003057 0.24472847 0.66524096]

print(np.max(a))  # 3
print(a-np.max(a)) # [-2 -1  0]
exp=np.exp(a-np.max(a))  # 减去最大值防止数值爆炸
print(exp) # [0.13533528 0.36787944 1.        ]
print(exp/np.sum(exp))  # [0.09003057 0.24472847 0.66524096]

2、损失函数

模型输出 :预测概率分布(例如,通过 Softmax 得到 [0.834, 0.125, 0.041])

真实情况 :真实标签的分布(例如,图片真实是"猫",我们用 one-hot 编码表示为 [1, 0, 0])

交叉熵计算过程:

H(P,Q)=−P(猫)⋅log⁡(Q(猫))+P(狗)⋅log⁡(Q(狗))+P(兔子)⋅log⁡(Q(兔子))

=−(1)⋅log⁡(0.834)+(0)⋅log⁡(0.125)+(0)⋅log⁡(0.041)

=−log⁡(0.834)+0+0

=−log⁡(0.834)

python 复制代码
#使用pytorch计算
import torch
import torch.nn as nn

# 定义损失函数
criterion = nn.CrossEntropyLoss()
outputs = torch.tensor([[3.2, 1.3, 0.2]]) 
labels = torch.tensor([0])

# 计算损失
loss = criterion(outputs, labels)
print(loss)


#手工这样计算
import numpy as np
a=np.array([3.2, 1.3, 0.2])
s=np.exp(a)/np.sum(np.exp(a))
print(-1*np.log(s[0]))

不同的任务,选择不同的损失函数,常见的

分类任务 :首选交叉熵。

回归任务 :首选MSE 或MAE(MSE更常用,若数据有较多离群点可考虑MAE)。

相关推荐
VIP_CQCRE4 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷5 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我6 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁016 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn6 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄7 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下8 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码8 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下8 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩9 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek