大语言模型的解码策略:贪婪解码与波束搜索

在自然语言生成任务(如机器翻译、文本摘要、图像描述等)中,语言模型通常会输出一个词的概率分布 ,但模型本身并不会自动告诉你应该选哪些词作为最终的输出句子。因此,我们需要设计一个"解码策略"来从这些概率中生成可读文本。

一、什么是序列解码?

以语言模型为例,给定起始 token,比如 "<BOS>",模型会预测下一个词的概率分布:

复制代码
P(w1 | <BOS>) = {"I": 0.5, "You": 0.3, "He": 0.2}

然后在预测了 "I" 之后,模型继续生成:

复制代码
P(w2 | <BOS>, "I") = {"am": 0.6, "was": 0.4}

我们希望最终得到完整的句子如:

复制代码
"I am happy"

二、贪婪解码(Greedy Decoding)

1. 原理

贪婪解码策略非常简单粗暴:每一步只选当前概率最大的词,不考虑未来潜在更优路径。

复制代码
sequence = [<BOS>]
while not sequence ends:
    next_token = argmax(P(token | sequence))
    sequence.append(next_token)

3. 举例说明

假设某语言模型输出如下(简化为概率):

  • Step 1: {"I": 0.5, "You": 0.3, "He": 0.2} → 选 "I"

  • Step 2: {"am": 0.6, "was": 0.4} → 选 "am"

  • Step 3: {"happy": 0.4, "sad": 0.3, "angry": 0.3} → 选 "happy"

最终生成:"I am happy"

三、波束搜索(Beam Search)

1. 原理

波束搜索是一种启发式搜索策略 ,在每一步保留概率最高的前 k 个序列候选(称为 beam),然后依次扩展,直到生成 <EOS> 或达到最大长度。

相比贪婪解码,它可以更好地探索多条路径,从而获得更优结果。

复制代码
beam = [("<BOS>", score=1.0)]

for step in range(max_len):
    new_beam = []
    for seq, score in beam:
        next_tokens = top_k(P(token | seq), k)
        for token, prob in next_tokens:
            new_seq = seq + token
            new_score = score * prob
            new_beam.append((new_seq, new_score))
    beam = top_k(new_beam, k)

3. 举例说明(beam size = 2)

假设第一步:

  • "I": 0.5

  • "You": 0.3

保留 "I" 和 "You"

第二步扩展:

  • "I" → {"am": 0.6, "was": 0.4}

  • "You" → {"are": 0.7, "were": 0.3}

组合成候选路径:

  • "I am": 0.5 × 0.6 = 0.30

  • "I was": 0.5 × 0.4 = 0.20

  • "You are": 0.3 × 0.7 = 0.21

  • "You were": 0.3 × 0.3 = 0.09

取 top 2:保留 "I am" 和 "You are" 继续扩展。

相关推荐
数据知道9 分钟前
机器翻译的分类:规则式、统计式、神经式MT的核心区别
人工智能·分类·机器翻译
siliconstorm.ai10 分钟前
AWS 算力瓶颈背后:生成式 AI 的基础设施战争
大数据·人工智能·chatgpt
paid槮12 分钟前
机器学习——逻辑回归
人工智能·机器学习·逻辑回归
Debroon40 分钟前
大模型幻觉的本质:深度=逻辑层次,宽度=组合限制,深度为n的神经网络最多只能处理n层逻辑推理,宽度为w的网络无法区分超过w+1个复杂对象的组合
人工智能·深度学习·神经网络
星夜Zn2 小时前
生成式人工智能展望报告-欧盟-04-社会影响与挑战
论文阅读·人工智能·大语言模型·发展报告·ai社会影响
余俊晖2 小时前
图像、视频、音频多模态大模型中长上下文token压缩方法综述
人工智能·音视频
LetsonH2 小时前
⭐CVPR2025 FreeUV:无真值 3D 人脸纹理重建框架
人工智能·python·深度学习·计算机视觉·3d
蹦蹦跳跳真可爱5892 小时前
Python----大模型(大模型微调--BitFit、Prompt Tuning、P-tuning、Prefix-tuning、LORA)
人工智能·python·深度学习·自然语言处理·transformer
喵王叭2 小时前
【大模型核心技术】Agent 理论与实战
人工智能·langchain