【四范式】浅谈NLP发展的四个范式

自然语言处理 (Natural Language Processing,NLP)是计算机科学,人工智能,语言学关于计算机和人类自然语言之间的相互作用的领域,是计算机科学领域与人工智能领域中的一个重要方向。NLP发展到今天已经进入到了LLM(大语言模型)的时代,学术界按发展时间线将NLP归纳到四个范式,即NLP四范式

第一范式:基于「传统机器学习模型」的范式,利用特定的规则或数学、统计学的模型来对特征进行匹配和利用,进而完成特定的NLP任务,靠人工来进行大量的特征提取,依赖于大量的监督数据,并且需要专业知识和技能。如序列标注、朴素贝叶斯等算法。

第二范式:基于「深度学习模型」的范式,来到了深度学习时代,实现了自动获取特征来进行端到端的分类,从而减少了手动构建特征的需求,模型准确度有所提高,特征工程的工作量也有所减少。如CNN、RNN等神经网络模型。

第三范式:基于「预训练模型+fine-tuning」的范式,分为两个阶段,先利用大型语料库完成预训练模型的无监督学习,然后利用预训练好的模型在下游任务的特定数据集上进行fine-tuning,模型准确度得到显著提高。如GPT、Bert等模型。

第四范式:基于「预训练模型+Prompt+预测」的范式,prompt 将下游的输入输出形式改造成预训练任务中的形式(重构下游任务),使得小样本、零样本学习成为可能,模型训练所需的训练数据显著减少。

相关推荐
懂压力传感器的涌客2 分钟前
机器人触觉传感器方案中FSR如何选型与集成
人工智能·机器人·压力传感器·fsr·源头工厂·fsr压力传感器
超级架构师3 分钟前
连接企业系统,不等于把接口直接交给 Agent:LIMENORA 的集成边界
网络·人工智能·架构·ai编程
@MMiL7 分钟前
PMSM基于SMO反电动势的PLL位置与速度估计
人工智能·机器学习
陕西企来客8 分钟前
2026年9月西安生成式引擎优化是什么:概念与应用解析
人工智能·西安生成式引擎优化是什么
小王2048 分钟前
Day 35:DETR与检测Transformer — 目标检测的范式革命
人工智能·深度学习·transformer
萧鼎9 分钟前
2026新库实测:sbxloop 1.5.24 让 AI Agent 在 Docker 沙箱中安全自治,告别环境混乱
人工智能·python·开源·开发工具·ai agent
超级架构师12 分钟前
【区块链技术】区块链101:比特币是什么?
人工智能·区块链·比特币
阿沐沐,15 分钟前
Claude Code 首次连接:官方登录与第三方网关配置
人工智能·ai
Claire_8816 分钟前
AI 会议录音转写与纪要生成:3 款工具的功能记录与使用观察
人工智能
明志数科18 分钟前
机器人训练数据质量评估体系:核心维度与全流程质控方法
人工智能·深度学习·机器学习