目录

【机器学习300问】119、什么是语言模型?

语言模型(Language Models)是自然语言处理(NLP)的重要组成部分,**它的目的是量化一段文本或一个序列的概率。**简单讲就是你给语言模型一个句子,它给你计算出特定语言中这个句子出现的概率。这样的概率度量可以帮助机器理解人类语言,进而应用在多种NLP任务上,例如:文本生成、语音识别、机器翻译、文本分类和对话系统等等。

下面以语音识别中的同音词为例来说明什么语言模型是怎么工作的:

语言识别中的同音词问题是一个典型的挑战,因为很多汉字或单词听起来非常相似,但意思完全不同。例如"家人"和"佳人",为了准确识别并区分两者,语言模型在这种情况下发挥着关键作用,它通过上下文信息帮助系统区分这些同音词。

它的目的是估计一个词序列在自然语言中出现的概率。具体到"家人"和"佳人"的例子,语言模型会基于大量文本数据学习到的统计规律,判断在特定上下文中哪个词更合理。

语言模型处理同音词简化示例:

(1)声学模型

首先,语音识别系统中的声学模型会将语音信号转换为一系列可能的文字或词候选。对于上述例子,当听到"jiaren"或"jiaren"这样的发音时,声学模型可能会输出"家人"和"佳人"作为高概率的候选词。但它们在声学层面上可能极其接近,声学模型本身很难单独判断出正确的词汇。

(2)构建候选词序列

系统接下来会基于声学模型的输出,构造一系列可能的词序列。比如,如果这段语音是"我周末要和____一起去郊游",那么结合声学模型的输出,可能的序列有s1="我周末要和家人一起去郊游"和s2="我周末要和佳人一起去郊游"。

(3)语言模型

  • 对于s1="我周末要和家人一起去郊游",语言模型会基于这句话的前后文信息,分析"家人"出现的概率远高于"佳人",因为在日常对话中提到周末活动时,"家人"是一个更为常见的表述。
  • 而对于s2="我周末要和佳人一起去郊游",虽然语法上没错,但通常"和佳人一起去郊游"不是一个常见的表达,这一序列的概率可能较低。

(4)选择最高概率的序列

最终,系统会选择语言模型给出概率最高的那个词序列作为识别结果。在这个例子中,如果"我周末要和家人一起去郊游"的概率远高于"我周末要和佳人一起去郊游",系统就会认定用户说的是"家人"。

本文是转载文章,点击查看原文
如有侵权,请联系 xyy@jishuzhan.net 删除
相关推荐
Sui_Network7 分钟前
Webacy 利用 Walrus 技术构建链上风险分析决策层
人工智能·游戏·web3·去中心化·区块链
知来者逆39 分钟前
计算机视觉——为什么 mAP 是目标检测的黄金标准
图像处理·人工智能·深度学习·目标检测·计算机视觉
MobiCetus1 小时前
Deep Reinforcement Learning for Robotics翻译解读2
人工智能·深度学习·神经网络·机器学习·生成对抗网络·计算机视觉·数据挖掘
师范大学生1 小时前
基于LSTM的文本分类2——文本数据处理
人工智能·rnn·lstm
Listennnn2 小时前
自动化网络架构搜索(Neural Architecture Search,NAS)
人工智能·深度学习·自动化
zhz52142 小时前
Zapier MCP:重塑跨应用自动化协作的技术实践
运维·人工智能·ai·自动化·ai编程·ai agent·智能体
怎么全是重名2 小时前
OFP--2018
人工智能·神经网络·目标检测
欲掩2 小时前
神经网络与深度学习:案例与实践——第三章(3)
人工智能·深度学习·神经网络
新知图书2 小时前
OpenCV销毁窗口
人工智能·opencv·计算机视觉
Blossom.1182 小时前
大数据时代的隐私保护:区块链技术的创新应用
人工智能·深度学习·自动化·区块链·智能合约