logits和softmax分布

logits

logits是模型的输出分数

在大语言模型里，logits 是每个 token 的"相对偏好分数"，可以是正数、负数或零

# 输入文本
text = "你好"
inputs = tokenizer(text, return_tensors="pt")

# 获取模型输出
with torch.no_grad():
    outputs = model(**inputs)  # 输出是 ModelOutput 对象

# logits
logits = outputs.logits  # shape: [batch_size, seq_len, vocab_size]
print(logits.shape)
print(logits)  # 每个 token 对应词表每个 token 的分数


# torch.Size([1, 1, 151936])
# tensor([[[ 2.8750,  0.4199,  0.5938,  ..., -1.2109, -1.2109, -1.2109]]],
#        device='cuda:0', dtype=torch.bfloat16)

softmax

softmax公式 ​​​​​​​

​​​​​​​ ​​​​​​​ ​​​​​​​ ​​​​​​​

e≈ 2.71828（自然常数）

分母就是对所有 token 的指数求和