数学与自然语言处理——统计语言模型

什么是自然语言处理 -- NLP

每种动物都有自己的语言,机器也是!

自然语言处理(NLP)就是在机器语言和人类语言之间沟通的桥梁,以实现人机交流的目的。人类通过语言来交流,狗通过汪汪叫来交流。机器也有自己的交流方式,那就是数字信息。

自然语言就是大家平时在生活中常用的表达方式,大家平时说的"讲人话"就是这个意思。

自然语言:我背有点驼

非自然语言:我的背呈弯曲状

而自然语言从它产生开始,逐渐演变成一种上下文相关的信息表达和传递的方式,因此让计算机处理自然语言,一个基本的问题就是为自然语言这种上下文相关的特性建立数学模型,即统计语言模型(Statistical Language Model)。

如何使用统计语言模型来描述语言规律

在最初统计模型语言产生的初衷是为了解决语音识别 问题。假定S表示某一个有意义的句子,由一连串特定顺序排列的词 组成,其中n是句子的长度。

利用条件概率的公式,我们可以得到

从计算上来看,词的概率计算变得越来越麻烦。如果我们假设,任意一个词出现的概率只与它前面的词有关,那么

其对应的统计语言模型为二元模型(Bigram Model)。我们知道P(S)的计算方式之后,接下来如何估计条件概率 呢,根据定义,我们可以得到

假设文本中的每个词和前面个词有关,而与更前面的词无关,因此

这种假设被称为N-1阶马尔可夫假设,对应的语言模型称为N元模型。当N=2时,即为二元模型;N=1时,即为一元模型,是一个上下文无关的模型。实际应用中最常用的为N=3的三元模型。

统计语言模型的工程应用

使用语言模型需要知道模型中所有的条件概率,即模型的参数,而得到这些参数的过程称之为模型的训练。对于二元模型来说,我们至于要知道两个语料中出现的次数,之所以可以用采样数据进行预测,是由于大数定理的支持。然而,在估计语言模型的概率时,这个方法时不可行的(数量很小的时候,随机性很大)。那么,我们如何正确地训练一个语言模型呢?

一个办法是增加数据量,即便如此,仍会遇到零概率或统计量不足的问题。因此,如果用直接的比值计算概率,大部分的条件概率仍为零,这种模型我们称作"不平滑"。

另一个办法是"古德-图灵估计(Good-Turing Estimate)",即对于没有看见的事件,我们不能认为它发生的概率为0,因此我们从概率的总量中,分配一个很小的比例给这些没有看见的事件。这样看见的事件的概率总和就要小于1了,所以我们需要将所有看见的事件概率调小一点,至于小多少,需要根据"越是不可信的统计折扣越多"的方法进行。

相关推荐
孤独野指针*P1 天前
面向边缘AI视觉系统的低成本硬件方案
人工智能
RAG专家1 天前
【ReAcTable】面向表格问答任务的ReAct增强框架
人工智能·语言模型·表格问答·表格理解
文火冰糖的硅基工坊1 天前
[人工智能-大模型-51]:Transformer、大模型、Copilot、具身智能、多模态、空间智能、世界模型,什么意思,它们不同点和联系
人工智能·transformer·copilot
彩云回1 天前
LOESS回归
人工智能·机器学习·回归·1024程序员节
加油吧zkf1 天前
生成式对抗网络 GAN:从零理解生成对抗网络的原理与魅力
人工智能·python·gan
算家计算1 天前
云计算大佬揭秘AI如何改变程序员未来,这些技能将成关键
人工智能·程序员·云计算
Ai173163915791 天前
英伟达RTX 6000 Ada 和L40S 对比,哪个更适合做深度学习?
图像处理·人工智能·gpt·深度学习·神经网络·机器学习·电脑
机器之心1 天前
死磕「文本智能」,多模态研究的下一个前沿
人工智能·openai
文火冰糖的硅基工坊1 天前
[人工智能-大模型-58]:模型层技术 - 深度神经网络的本质是一个复杂的复合数学函数
人工智能·神经网络·算法·dnn
机器之心1 天前
比Qwen3-Max更Max?夸克抢先用上最新闭源模型
人工智能·openai