logits和softmax分布

logits

logits是模型的输出分数

在大语言模型里,logits 是每个 token 的"相对偏好分数",可以是正数、负数或零

复制代码
# 输入文本
text = "你好"
inputs = tokenizer(text, return_tensors="pt")

# 获取模型输出
with torch.no_grad():
    outputs = model(**inputs)  # 输出是 ModelOutput 对象

# logits
logits = outputs.logits  # shape: [batch_size, seq_len, vocab_size]
print(logits.shape)
print(logits)  # 每个 token 对应词表每个 token 的分数


# torch.Size([1, 1, 151936])
# tensor([[[ 2.8750,  0.4199,  0.5938,  ..., -1.2109, -1.2109, -1.2109]]],
#        device='cuda:0', dtype=torch.bfloat16)

softmax

softmax公式 ​​​​​​​

​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​

e≈ 2.71828(自然常数)

分母就是对所有 token 的指数求和

相关推荐
DO_Community1 天前
普通服务器都能跑:深入了解 Qwen3-Next-80B-A3B-Instruct
人工智能·开源·llm·大语言模型·qwen
WWZZ20251 天前
快速上手大模型:机器学习3(多元线性回归及梯度、向量化、正规方程)
人工智能·算法·机器学习·机器人·slam·具身感知
deephub1 天前
深入BERT内核:用数学解密掩码语言模型的工作原理
人工智能·深度学习·语言模型·bert·transformer
PKNLP1 天前
BERT系列模型
人工智能·深度学习·bert
应用市场1 天前
构建自定义命令行工具 - 打造专属指令体
开发语言·windows·python
兰亭妙微1 天前
ui设计公司审美积累 | 金融人工智能与用户体验 用户界面仪表盘设计
人工智能·金融·ux
东方佑1 天前
从字符串中提取重复子串的Python算法解析
windows·python·算法
AKAMAI1 天前
安全风暴的绝地反击 :从告警地狱到智能防护
运维·人工智能·云计算
岁月宁静1 天前
深度定制:在 Vue 3.5 应用中集成流式 AI 写作助手的实践
前端·vue.js·人工智能
Dfreedom.1 天前
一文掌握Python四大核心数据结构:变量、结构体、类与枚举
开发语言·数据结构·python·变量·数据类型