nn.functional.softmax(X, dim=-1)

dim=-1表示在最后一个维度(大概率是一行)应用Softmax函数,将值标准化为概率分布。

实例

假设我们有一个张量X,形状为(2,3),内容如下:

复制代码
import torch  
import torch.nn.functional as F  

X = torch.tensor([[1.0, 2.0, 3.0],  
                  [1.0, 2.0, 3.0]])  

# 计算 Softmax  
softmax_result = F.softmax(X, dim=-1)  
print(softmax_result)

输出:

复制代码
tensor([[0.0900, 0.2447, 0.6652],  
        [0.0900, 0.2447, 0.6652]])

可以看到,每一行的输出值加起来为 1,这表示已经进行了Softmax操作。

相关推荐
苏子寒3 小时前
Nano-VLLM全代码解析笔记(10)-GemmaRMSNorm和MRoPE
笔记·机器学习·ai·nlp·vllm
richard_first1 天前
Transformer与大语言模型:第13章 Decoder
人工智能·机器学习
寒霜雨刃1 天前
【原创】海光Z100 DCU适配vLLM实录(二):W4A16大M Prefill结构重写、GDN融合与长上下文HIP Attention
深度学习·神经网络·amd·rocm·ai infra·海光z100·gfx906
罗西的思考1 天前
【Agentic RL / 强化学习框架】Molt 设计解读
人工智能·算法·机器学习
IJCAST2 天前
IJCAST最新一期已经发布
人工智能·深度学习·神经网络
chunmiao30322 天前
OpenAI 官宣断供 Cursor,AI 编程迎来第一次模型断供
人工智能·深度学习
147API2 天前
评测分数不理想,什么时候值得补蒸馏数据
人工智能·深度学习·机器学习
张人玉2 天前
基于 Python 机器学习 与 PyQt5 桌面框架开发的可视化分析系统——基于大数据的网上购物消费行为分析可视化大屏
python·qt·机器学习·echarts·three.js
β添砖java2 天前
深度学习26转置卷积
人工智能·深度学习
JoannaJuanCV2 天前
VLM学习-SFT(监督微调)
深度学习·学习·机器学习·大模型·视觉大模型·vlm·视觉编码器