语言模型-神经网络模型(二)

神经网络模型语言模型

神经网络模型

释义:

与ngram模型相似使用,前n个词预测下一个词,输出在字表上的概率分布;过程中得到了词向量这一副产品

神经网络语言模型开篇作

神经网络的分类

自回归语言模型:

用前n个字预测下一个字

单向,从左向右预测,或反向使用

有利于生成式任务

自编码语言模型:

用整段文本,预测文本中的某一个字(完形填空)

双向,更好的利用文本信息

引入了[mask],在fine-tune中不出现

神经网络模型和Ngram对比

优点:

1.对于输入长度的要求更低,更能适用;因为Ngram的参数和长度有非常大的关系,多一个字就会新增相当的参数;而神经网络模型不会

2.神经网络模型能够计算词之间的相似性,而Ngram则不行,无法识别词之间的相似性

3.神经网络模型自带平滑,即使是未出现的组合和词,计算的概率也不会为零

缺点:

1.在运算的效率上,ngram比神经网络模型要高很多;ngram计算时,只需要遍历找到概率值计算即可;神经网络模型对于每一个词都需要计算一次。

应用一-话者分离

释义: 根据说话内容判断说话人,常用于语言识别系统中,判断录音对话中角色,如客服对话录音,判断坐席或客户;本质上为文本分类任务。

步骤

1.对于每个类别,使用类别语料训练语言模型

2.对于一个新输入的文本,用所有语言模型计算成句概率

3.选取概率最高的类别为预测类别

对比优劣

相比一般文本分类模型,如贝叶斯,rf,神经网络等
优势:

1.每个类别模型互相独立,样本不均衡或样本有错误对其他模型没有影响

2.可以随时增加新的类别,而不影响旧的类别的效果

劣势:

1.效果上讲:一般不会有显著优势

2.效率上讲:一般会低于统一的分类模型

应用二-数字归一化

释义: 将一个文本中的数字部分转化成对读者友好的样式,常见于语言识别系统后,展示文本时使用。

下面举例:

1.秦皇岛港煤炭库存量在十一月初突然激增,从四百五十四点九万吨增加到七百七十三点四万吨,打破了一九九九年以来的记录

2.十一届三中全会、"十二五"规划、一贫如洗、二龙戏珠
解释: 由上面的例子,我们知道有些汉语数字是适合转阿拉伯数字的,有的情况不适合,我们需要用语言模型,去判断或者计算使用那种数字的概率高

步骤:

  1. 找到数字形式符合规范的文本作为原始语料
  2. 用正则表达式找到数字部分(任意形式)
  3. 将数字部分依照其格式替换为<阿拉伯数字><汉字数字><汉字连读>等token
  4. 使用带token文本训练语言模型
  5. 对于新输入的文本,同样使用正则表达式找到数字部分,之后分别带入各个token,使用语言模型计算概率
  6. 选取概率最高的token最为最终数字格式,按照规则转化后填入原文本

示例

中国共产党第十五次全国代表大会于一九九七年九月十二日召开,各地方代表一一发言

中国共产党第<汉字数字>次全国代表大会于<阿拉伯数字>年<阿拉伯数字>月<阿拉伯数字>日召开,各地方代表<汉字连续>发言

训练时,将当成一个字训练语言模型

预测时,中国共产党第十五次全国代表 <- 原句

中国共产党第<汉字数字>次全国代表

中国共产党第<阿拉伯数字>次全国代表 语言模型判断最高概率

中国共产党第<汉字连续>次全国代表

若需要转化格式则通过规则完成,模型只起到判断作用

应用三-文本打标

释义: 给文本添加标点或语气停顿等,可以理解为一种粗粒度的分词,常用于语音合成任务中,辅助做出发音的停顿。语言模型都能够实现。

示例:

我最近抽了点时间读了一本关于马尔可夫生平的书
停顿: 我最近 抽了点时间 读了一本 关于 马尔可夫生平 的书
标点: 我最近抽了点时间,读了一本关于马尔可夫生平的书。

实现逻辑:

  1. 需要有标注数据,在停顿处添加token:
    如:

  2. 我最近 < s > 抽了点时间 < s > 读了一本 < s > 关于 < s > 马尔可夫生平 < s > 的书

    3.带token训练语言模型

4.预测过程:

选定一个窗口长度,首先预测第一次停顿位置

我< s >最近抽了点时间 ppl:10

我最< s >近抽了点时间 ppl:20

我最近< s >抽了点时间 ppl:5 <- 选择此处作为第一次停顿

....
之后从"抽了点时间"开始向后重复此过程;就可以获得分好的句子。

总结:

本质为序列标注任务;可以依照类似方式,处理分词、文本加标点、文本段落切分等任务;分词或切分段落只需要一种token;打标点时,可以用多种分隔token,代表不同标点

相关推荐
聚客AI3 分钟前
大模型学习进阶路线图:从Prompt到预训练的四阶段全景解析
人工智能·llm·掘金·日新计划
晓13138 分钟前
第七章 OpenCV篇——角点检测与特征检测
人工智能·深度学习·计算机视觉
DeepSeek大模型官方教程38 分钟前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
MidJourney中文版1 小时前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
王上上2 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
智慧化智能化数字化方案2 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
PyAIExplorer2 小时前
图像旋转:从原理到 OpenCV 实践
人工智能·opencv·计算机视觉
Wilber的技术分享2 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
19892 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
burg_xun2 小时前
【Vibe Coding 实战】我如何用 AI 把一张草图变成了能跑的应用
人工智能