【四范式】浅谈NLP发展的四个范式

自然语言处理 (Natural Language Processing,NLP)是计算机科学,人工智能,语言学关于计算机和人类自然语言之间的相互作用的领域,是计算机科学领域与人工智能领域中的一个重要方向。NLP发展到今天已经进入到了LLM(大语言模型)的时代,学术界按发展时间线将NLP归纳到四个范式,即NLP四范式

第一范式:基于「传统机器学习模型」的范式,利用特定的规则或数学、统计学的模型来对特征进行匹配和利用,进而完成特定的NLP任务,靠人工来进行大量的特征提取,依赖于大量的监督数据,并且需要专业知识和技能。如序列标注、朴素贝叶斯等算法。

第二范式:基于「深度学习模型」的范式,来到了深度学习时代,实现了自动获取特征来进行端到端的分类,从而减少了手动构建特征的需求,模型准确度有所提高,特征工程的工作量也有所减少。如CNN、RNN等神经网络模型。

第三范式:基于「预训练模型+fine-tuning」的范式,分为两个阶段,先利用大型语料库完成预训练模型的无监督学习,然后利用预训练好的模型在下游任务的特定数据集上进行fine-tuning,模型准确度得到显著提高。如GPT、Bert等模型。

第四范式:基于「预训练模型+Prompt+预测」的范式,prompt 将下游的输入输出形式改造成预训练任务中的形式(重构下游任务),使得小样本、零样本学习成为可能,模型训练所需的训练数据显著减少。

相关推荐
阿里云大数据AI技术22 分钟前
DataWorks Data Agent 实战课堂(一):解锁你的7×24h全能“数据搭子”DataWorks AI助理!
大数据·人工智能·agent
得一录30 分钟前
大模型中Temperature的解释
人工智能
Database_Cool_33 分钟前
阿里云RDS主从延迟解决方案_只读实例半同步复制最佳实践
数据库·人工智能
XMan_Liu38 分钟前
AI聊天机器人架构学习
人工智能·架构·机器人
喝拿铁写前端39 分钟前
AI 时代,ESLint 应该怎么做得更好
前端·人工智能·代码规范
派叔42 分钟前
老字号数字化转型的困境与路径:一个系统架构视角下的观察
大数据·人工智能·系统架构·产品运营·流量运营
阿里-于怀1 小时前
阿里云刚发布的 AgentLoop 是什么?
人工智能·阿里云·云计算
2601_956319881 小时前
最新AI量化提效,先做可验证的小流程
人工智能·python
朴马丁1 小时前
从制造到智造:国产PLM如何赋能化工新材料企业研发创新
大数据·人工智能·制造·流程行业plm·化工新材料行业
AI棒棒牛1 小时前
YOLO26 全网独家改进创新:ECCV2026 PriorEye 主干网络改进,引入视觉-空间先验门控 Backbone,复杂场景涨点新思路!
人工智能·神经网络·目标检测·yolo26