nn.functional.softmax(X, dim=-1)

dim=-1表示在最后一个维度(大概率是一行)应用Softmax函数,将值标准化为概率分布。

实例

假设我们有一个张量X,形状为(2,3),内容如下:

复制代码
import torch  
import torch.nn.functional as F  

X = torch.tensor([[1.0, 2.0, 3.0],  
                  [1.0, 2.0, 3.0]])  

# 计算 Softmax  
softmax_result = F.softmax(X, dim=-1)  
print(softmax_result)

输出:

复制代码
tensor([[0.0900, 0.2447, 0.6652],  
        [0.0900, 0.2447, 0.6652]])

可以看到,每一行的输出值加起来为 1,这表示已经进行了Softmax操作。

相关推荐
大模型最新论文速读13 小时前
小红书提出 RedKnot:分头处理 kv 缓存,延时降低 60%效果还提升
论文阅读·人工智能·深度学习·机器学习·缓存·自然语言处理
早起CaiCai14 小时前
【Pytorch 实践1】手写数字
人工智能·pytorch·python
星浩AI14 小时前
(七)GPT2中文生成模型定制化微调训练[附源码]
pytorch·深度学习·llm
卡梅德生物科技小能手14 小时前
卡梅德生物科普MCAM(黑色素瘤细胞黏附分子)
人工智能·经验分享·深度学习
一楼的猫14 小时前
茄子写作助手——品牌搜索突破9万后的技术型品牌认知与官网入口指南
人工智能·学习·机器学习·chatgpt·ai写作
月疯15 小时前
torch:expand和repeate的区别
开发语言·python·深度学习
苏州邦恩精密15 小时前
江苏三维扫描仪厂家如何选择合适的工业测量方案?
人工智能·科技·机器学习·3d·自动化·制造
叫我:松哥15 小时前
基于深度卷积神经网络的水果图片分类算法设计与实现,有ResNet50的迁移学习模型,准确率达95%
人工智能·python·神经网络·机器学习·分类·cnn·迁移学习
xianghongtao011616 小时前
把 Prompt 当成“可训练参数“:SkillOpt 如何用深度学习的纪律去优化 Agent 技能
人工智能·深度学习·性能优化·prompt