Kneser-Ney平滑(Kneser-Ney smoothing)简介

Chat-GPT 3.5给的答案,先记在这里,后面有机会深入了解再补充。

Kneser-Ney平滑(Kneser-Ney smoothing)是一种用于解决语言模型中零概率问题的平滑技术。它是由Kneser和Ney在1995年提出的,被广泛应用于n-gram语言模型中。

在语言模型中,n-gram是指由n个连续的词组成的序列。n-gram语言模型的目标是计算给定一个上下文的情况下,下一个词的概率。然而,当模型遇到未在训练数据中出现的n-gram时,概率会变为零,这会导致模型在生成或评估文本时出现问题。

Kneser-Ney平滑通过引入一个调整因子来解决零概率问题。它的基本思想是利用n-gram的上下文信息来估计未见n-gram的概率。具体来说,Kneser-Ney平滑使用两个概率值:补充概率(continuation probability)和回退概率(discounted probability)。

  • 补充概率:补充概率表示给定上下文中下一个词的概率。它通过计算给定上下文的n-gram数量和包含该n-gram的不同上下文数量之比来估计。补充概率提供了一个对未见n-gram的概率估计。
  • 回退概率:回退概率表示在给定上下文中下一个词的概率。它通过计算给定上下文的n-1 gram数量和包含该n-1
    gram的不同上下文数量之比来估计。回退概率提供了一个对已见n-gram的概率估计。

Kneser-Ney平滑的计算过程 如下:

(1)统计训练数据中每个n-gram的出现次数和不同上下文的数量。

计算补充概率和回退概率。

(2)在计算概率时,使用补充概率和回退概率来调整未见和已见n-gram的概率。

(3)Kneser-Ney平滑通过利用上下文信息来提高语言模型的性能,尤其是在处理未见n-gram时。它在n-gram语言模型中被广泛使用,并在自然语言处理任务中取得了良好的效果。

相关推荐
反方向的钟儿3 天前
人工智能入门(2)
大数据·人工智能·学习·自然语言处理·nlp·vr
冲上云霄的Jayden4 天前
PaddleNLP UIE 通过OCR识别银行回执信息
nlp·ocr·paddle·paddlenlp·信息提取·uie·银行回执
百锦再5 天前
DeepSeek与GPT的全方位对比及其为编程工作带来的巨大变革
人工智能·python·gpt·nlp·deepseek
lihuayong6 天前
自然语言处理NLP-文本预处理
人工智能·自然语言处理·nlp·分词·文本预处理
一支王同学10 天前
使用LLama-Factory的简易教程(Llama3微调案例+详细步骤)
nlp·大语言模型·llama
代码骑士11 天前
LiteratureReading:[2023] GPT-4: Technical Report
nlp
闲人编程13 天前
强化学习:DQN玩转CartPole游戏
人工智能·深度学习·nlp
勤奋的小笼包13 天前
【论文阅读】CARES:医学视觉语言模型可信度的综合基准
论文阅读·人工智能·学习·语言模型·自然语言处理·chatgpt·nlp
勤奋的小笼包14 天前
【论文阅读】MMed-RAG:让多模态大模型告别“事实性幻觉”
论文阅读·人工智能·深度学习·语言模型·自然语言处理·chatgpt·nlp
跑路程序员15 天前
T5常见微调方法
nlp