【四范式】浅谈NLP发展的四个范式

自然语言处理 (Natural Language Processing,NLP)是计算机科学,人工智能,语言学关于计算机和人类自然语言之间的相互作用的领域,是计算机科学领域与人工智能领域中的一个重要方向。NLP发展到今天已经进入到了LLM(大语言模型)的时代,学术界按发展时间线将NLP归纳到四个范式,即NLP四范式

第一范式:基于「传统机器学习模型」的范式,利用特定的规则或数学、统计学的模型来对特征进行匹配和利用,进而完成特定的NLP任务,靠人工来进行大量的特征提取,依赖于大量的监督数据,并且需要专业知识和技能。如序列标注、朴素贝叶斯等算法。

第二范式:基于「深度学习模型」的范式,来到了深度学习时代,实现了自动获取特征来进行端到端的分类,从而减少了手动构建特征的需求,模型准确度有所提高,特征工程的工作量也有所减少。如CNN、RNN等神经网络模型。

第三范式:基于「预训练模型+fine-tuning」的范式,分为两个阶段,先利用大型语料库完成预训练模型的无监督学习,然后利用预训练好的模型在下游任务的特定数据集上进行fine-tuning,模型准确度得到显著提高。如GPT、Bert等模型。

第四范式:基于「预训练模型+Prompt+预测」的范式,prompt 将下游的输入输出形式改造成预训练任务中的形式(重构下游任务),使得小样本、零样本学习成为可能,模型训练所需的训练数据显著减少。

相关推荐
猫先生Mr.Mao4 分钟前
2025年3月AGI技术月评|技术突破重构数字世界底层逻辑
人工智能·aigc·大语言模型·agi·多模态·行业洞察
睿创咨询22 分钟前
科技与商业动态简报
人工智能·科技·ipd·商业
科技在线22 分钟前
科技赋能建筑新未来:中建海龙模块化建筑产品入选中国建筑首批产业化推广产品
大数据·人工智能
HED32 分钟前
用扣子快速手撸人生中第一个AI智能应用!
前端·人工智能
极小狐34 分钟前
极狐GitLab 如何 cherry-pick 变更?
人工智能·git·机器学习·gitlab
沛沛老爹38 分钟前
从线性到非线性:简单聊聊神经网络的常见三大激活函数
人工智能·深度学习·神经网络·激活函数·relu·sigmoid·tanh
0x2111 小时前
[论文阅读]ReAct: Synergizing Reasoning and Acting in Language Models
人工智能·语言模型·自然语言处理
mucheni1 小时前
迅为iTOP-RK3576开发板/核心板6TOPS超强算力NPU适用于ARM PC、边缘计算、个人移动互联网设备及其他多媒体产品
arm开发·人工智能·边缘计算
Jamence1 小时前
多模态大语言模型arxiv论文略读(三十六)
人工智能·语言模型·自然语言处理
www_pp_1 小时前
# 构建词汇表:自然语言处理中的关键步骤
前端·javascript·自然语言处理·easyui