logits和softmax分布

logits

logits是模型的输出分数

在大语言模型里,logits 是每个 token 的"相对偏好分数",可以是正数、负数或零

复制代码
# 输入文本
text = "你好"
inputs = tokenizer(text, return_tensors="pt")

# 获取模型输出
with torch.no_grad():
    outputs = model(**inputs)  # 输出是 ModelOutput 对象

# logits
logits = outputs.logits  # shape: [batch_size, seq_len, vocab_size]
print(logits.shape)
print(logits)  # 每个 token 对应词表每个 token 的分数


# torch.Size([1, 1, 151936])
# tensor([[[ 2.8750,  0.4199,  0.5938,  ..., -1.2109, -1.2109, -1.2109]]],
#        device='cuda:0', dtype=torch.bfloat16)

softmax

softmax公式 ​​​​​​​

​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​

e≈ 2.71828(自然常数)

分母就是对所有 token 的指数求和

相关推荐
大千AI助手2 小时前
二元锦标赛:进化算法中的选择机制及其应用
人工智能·算法·优化·进化算法·二元锦标赛·选择机制·适应生存
IT_陈寒2 小时前
Python开发者必坑指南:3个看似聪明实则致命的‘优化’让我损失了50%性能
前端·人工智能·后端
落羽的落羽2 小时前
【Linux系统】快速入门一些常用的基础指令
linux·服务器·人工智能·学习·机器学习·aigc
easyboot3 小时前
python的print加入颜色显示
开发语言·python
aopstudio4 小时前
llms.txt:为大模型打造的“网站说明书”
人工智能·python·llm·开发者工具
东方芷兰5 小时前
LLM 笔记 —— 01 大型语言模型修炼史(Self-supervised Learning、Supervised Learning、RLHF)
人工智能·笔记·神经网络·语言模型·自然语言处理·transformer
java1234_小锋5 小时前
[免费]基于Python的Flask+Vue进销存仓库管理系统【论文+源码+SQL脚本】
后端·python·flask
腾飞开源5 小时前
02_钉钉消息处理流程设计
人工智能·钉钉·agent智能体·ai智能体开发·全网首发·新课上线·消息处理器
K24B;5 小时前
多模态大语言模型OISA
人工智能·语言模型·语音识别·分割·多模态大语言模型