【四范式】浅谈NLP发展的四个范式

自然语言处理 (Natural Language Processing,NLP)是计算机科学,人工智能,语言学关于计算机和人类自然语言之间的相互作用的领域,是计算机科学领域与人工智能领域中的一个重要方向。NLP发展到今天已经进入到了LLM(大语言模型)的时代,学术界按发展时间线将NLP归纳到四个范式,即NLP四范式

第一范式:基于「传统机器学习模型」的范式,利用特定的规则或数学、统计学的模型来对特征进行匹配和利用,进而完成特定的NLP任务,靠人工来进行大量的特征提取,依赖于大量的监督数据,并且需要专业知识和技能。如序列标注、朴素贝叶斯等算法。

第二范式:基于「深度学习模型」的范式,来到了深度学习时代,实现了自动获取特征来进行端到端的分类,从而减少了手动构建特征的需求,模型准确度有所提高,特征工程的工作量也有所减少。如CNN、RNN等神经网络模型。

第三范式:基于「预训练模型+fine-tuning」的范式,分为两个阶段,先利用大型语料库完成预训练模型的无监督学习,然后利用预训练好的模型在下游任务的特定数据集上进行fine-tuning,模型准确度得到显著提高。如GPT、Bert等模型。

第四范式:基于「预训练模型+Prompt+预测」的范式,prompt 将下游的输入输出形式改造成预训练任务中的形式(重构下游任务),使得小样本、零样本学习成为可能,模型训练所需的训练数据显著减少。

相关推荐
Michelle802318 小时前
机器学习实战操作手册
人工智能·算法·机器学习
翔云 OCR API18 小时前
护照NFC识读鉴伪接口集成-让身份核验更加智能与高效
开发语言·人工智能·python·计算机视觉·ocr
minhuan18 小时前
大模型应用:基于本地大模型驱动的 MapReduce 文本总结与分类系统全解析.13
人工智能·mapreduce·大模型应用·qwen1.5·bert模型应用
景联文科技18 小时前
景联文AI观察动态速递 第3期
人工智能·chatgpt
凯子坚持 c18 小时前
体系化AI开发方案:豆包新模型矩阵与PromptPilot自动化调优平台深度解析
人工智能·矩阵·自动化
logocode_li18 小时前
面试 LoRA 被问懵?B 矩阵初始化为 0 的原因,大多数人拿目标来回答
人工智能·python·面试·职场和发展·矩阵
喜欢踢足球的老罗18 小时前
Qoder AI IDE深度体验:用Repo Wiki与AskModel重塑开源库学习范式
人工智能·学习·qoder
金融小师妹18 小时前
基于LSTM趋势预测的白银价格突破58美元阈值,年度累计涨幅超100%的强化学习驱动分析
大数据·人工智能·编辑器·1024程序员节
极客BIM工作室18 小时前
AI论文整理:Linguistic Binding in Diffusion Models
人工智能
茶色岛^18 小时前
解析CLIP:从“看标签”到“读描述”
人工智能·深度学习·机器学习