语言模型发展史

四个阶段

第一阶段:基于规则和统计的语言模型

由人工设计特征并使用统计方法对固定长度的文本窗口序列进行建模分析,这种建模方式也被称为N-gram语言模型

优点:

1)采用极大似然估计, 参数易训练

2)完全包含了前n-1个词的全部信息

3)可解释性强, 直观易理解

缺点:

1)只能建模到前n-1个词

2)随着n的增大,参数空间呈指数增长

3)数据稀疏,难免会出现OOV问题

4)泛化能力差

第二阶段:神经网络语言模型

基于N-gram语言模型以上的问题,以及随着神经网络技术的发展,人们开始尝试使用神经网络来建立语言模型。

优点:

1)相比 n-gram 具有更好的泛化能力

2)降低了数据稀疏带来的问题

缺点:

1)对长序列的建模能力有限

2)可能会出现梯度消失等问题

第三阶段:预训练语言模型

基于Transformer的预训练模型:包括GPT、BERT、T5等。这些模型能够从大规模通用文本数据中学习大量的语言表示,并将这些知识运用到下游任务中,获得较好的效果。

预训练:在大规模数据集上事先训练神经网络模型,使其学习到通用的特征表示和知识

微调:在具体的下游任务中使用预训练好的模型进行迁移学习,以获取更好的泛化

优点:

更强大的泛化能力,丰富的语义表示,可以有效防止过拟合。

缺点:

计算资源需求大,可解释性差等

第四阶段:大语言模型

随着预训练模型Transformer参数的指数级提升,其语言模型性能也会线性上升。2020年,OpenAI发布了参数量高达1750亿的GPT-3,首次展示了大语言模型的性能。(Transformer+大量参数)

Meta公司的LLaMA-13B模型以及谷歌公司的PaLM-540B

国内如百度推出的文心一言ERNIE系列、清华大学团队推出的GLM等等

优点:

像"人类"一样智能,具备了能与人类沟通聊天的能力,甚至具备了使用插件进行自动信息检索的能力
缺点:

参数量大,算力要求高、训练时间长、可能生成部分有害的、有偏见的内容等等

相关推荐
用户6915811416535 分钟前
Ascend Extension for PyTorch的源码解析
人工智能
成富2 小时前
文本转SQL(Text-to-SQL),场景介绍与 Spring AI 实现
数据库·人工智能·sql·spring·oracle
CSDN云计算2 小时前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
艾派森2 小时前
大数据分析案例-基于随机森林算法的智能手机价格预测模型
人工智能·python·随机森林·机器学习·数据挖掘
hairenjing11232 小时前
在 Android 手机上从SD 卡恢复数据的 6 个有效应用程序
android·人工智能·windows·macos·智能手机
小蜗子2 小时前
Multi‐modal knowledge graph inference via media convergenceand logic rule
人工智能·知识图谱
SpikeKing2 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
黄焖鸡能干四碗3 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
3 小时前
开源竞争-数据驱动成长-11/05-大专生的思考
人工智能·笔记·学习·算法·机器学习
ctrey_3 小时前
2024-11-4 学习人工智能的Day21 openCV(3)
人工智能·opencv·学习