【四范式】浅谈NLP发展的四个范式

自然语言处理 (Natural Language Processing,NLP)是计算机科学,人工智能,语言学关于计算机和人类自然语言之间的相互作用的领域,是计算机科学领域与人工智能领域中的一个重要方向。NLP发展到今天已经进入到了LLM(大语言模型)的时代,学术界按发展时间线将NLP归纳到四个范式,即NLP四范式:

第一范式:基于「传统机器学习模型」的范式,利用特定的规则或数学、统计学的模型来对特征进行匹配和利用,进而完成特定的NLP任务,靠人工来进行大量的特征提取,依赖于大量的监督数据,并且需要专业知识和技能。如序列标注、朴素贝叶斯等算法。

第二范式:基于「深度学习模型」的范式,来到了深度学习时代,实现了自动获取特征来进行端到端的分类,从而减少了手动构建特征的需求,模型准确度有所提高,特征工程的工作量也有所减少。如CNN、RNN等神经网络模型。

第三范式:基于「预训练模型+fine-tuning」的范式,分为两个阶段,先利用大型语料库完成预训练模型的无监督学习,然后利用预训练好的模型在下游任务的特定数据集上进行fine-tuning,模型准确度得到显著提高。如GPT、Bert等模型。

第四范式:基于「预训练模型+Prompt+预测」的范式,prompt 将下游的输入输出形式改造成预训练任务中的形式(重构下游任务),使得小样本、零样本学习成为可能,模型训练所需的训练数据显著减少。

相关推荐
moxiaoran575310 分钟前
Codex接入MCP
人工智能
天远Date Lab13 分钟前
微服务架构实战:基于天远学历信息高级版构建自动化人才准入网关
人工智能·微服务·架构·自动化
small_wh1te_coder18 分钟前
字节技术总监30讲 AI课:3概率、信息论与损失函数|从Logits到Cross-Entropy带你吃透大模型训练
人工智能
云表无代码开发20 分钟前
日本开发者彻底破防:中文太强了!换成英文直接裂开
大数据·服务器·人工智能·microsoft·信息可视化
致Great32 分钟前
不止自动写论文!谷歌 ScientistTwo 让 AI 自己做实验、补消融、回审稿
人工智能·深度学习·机器学习
XMAIPC_Robot33 分钟前
CODESYS 实时控制 + RK182X 大模型算力扩展|RK3576 工业边缘控制器设计
人工智能·fpga开发·机器人·rk3588+fpga
迪飞特科技35 分钟前
【无标题】
android·人工智能·本地化大模型
anda010943 分钟前
A2UI 协议: AI 直接画界面,而不是只会打字
人工智能·ai编程
IT_陈寒44 分钟前
JavaScript闭包的这个坑,我居然今天才爬出来
前端·人工智能·后端
张3蜂1 小时前
Laya、Kev、NanoJev调用体验
人工智能