【四范式】浅谈NLP发展的四个范式

自然语言处理 (Natural Language Processing,NLP)是计算机科学,人工智能,语言学关于计算机和人类自然语言之间的相互作用的领域,是计算机科学领域与人工智能领域中的一个重要方向。NLP发展到今天已经进入到了LLM(大语言模型)的时代,学术界按发展时间线将NLP归纳到四个范式,即NLP四范式

第一范式:基于「传统机器学习模型」的范式,利用特定的规则或数学、统计学的模型来对特征进行匹配和利用,进而完成特定的NLP任务,靠人工来进行大量的特征提取,依赖于大量的监督数据,并且需要专业知识和技能。如序列标注、朴素贝叶斯等算法。

第二范式:基于「深度学习模型」的范式,来到了深度学习时代,实现了自动获取特征来进行端到端的分类,从而减少了手动构建特征的需求,模型准确度有所提高,特征工程的工作量也有所减少。如CNN、RNN等神经网络模型。

第三范式:基于「预训练模型+fine-tuning」的范式,分为两个阶段,先利用大型语料库完成预训练模型的无监督学习,然后利用预训练好的模型在下游任务的特定数据集上进行fine-tuning,模型准确度得到显著提高。如GPT、Bert等模型。

第四范式:基于「预训练模型+Prompt+预测」的范式,prompt 将下游的输入输出形式改造成预训练任务中的形式(重构下游任务),使得小样本、零样本学习成为可能,模型训练所需的训练数据显著减少。

相关推荐
福大大架构师每日一题8 小时前
ollama v0.20.7 最新版更新详解:ROCm 7.2.1、Gemma4 渲染修复与多项 Metal/Renderer 回归修补
人工智能·数据挖掘·回归·ollama
格林威8 小时前
AI视觉检测:Jetson Orin vs RTX A2000 推理速度对比
人工智能·数码相机·机器学习·计算机视觉·视觉检测·机器视觉·工业相机
后端小肥肠9 小时前
公众号破圈难?我写了个skill把长文拆成IP卡片,小红书小绿书同时发
人工智能·aigc·agent
陈天伟教授9 小时前
四川省中小学和职业院校教师校长省级培训专家库专家名单
人工智能·安全·架构
Uncle 城9 小时前
AI日报速递-20260418
人工智能
F_U_N_9 小时前
拒绝手动配环境!MonkeyCode:手机就能写项目,AI全程扛事
人工智能·ai编程
helloworddm9 小时前
Vulkan GPU图像处理之对数变换:Kompute框架实战与性能分析
图像处理·人工智能·计算机视觉
旺仔Sec9 小时前
一万字带您看懂:从“赛项”到“赛道”解读世界职业院校技能大赛改革与备赛策略
人工智能·世界职业院校技能大赛·大赛
海兰9 小时前
【第2篇-续】从零开始helloworld使用openAI通用模型的完整实现示例附源代码
java·人工智能·spring boot·alibaba·spring ai
科研实践课堂(小绿书)9 小时前
基于AI智能算法的装备结构可靠性分析与优化设计技术
人工智能·机器学习