[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning & Delta-learning

Prompt-Learning and Delta-Tunning

背景和概览

但是从T5开始,大模型越来越大了。

微调很难了。

模型的趋势

Model Scaling:模型越来越大

Difficult Tuning:微调越来越难

Prompt-Learning

基本组成与流程介绍

预训练和fine-tuning有一定的gap。毕竟是不同的任务。

通过额外增加模版。

映射到标签的过程称为verbalizer。

这样就使用了mask任务。弥补了不同之间的gap。

流程举例

如何考虑PLM,Template,Verbalizer

PLM

Auto-regressive有更好的生成能力,mask往往放最后

MaskLM有更好的理解能力,mask往往放中间

Encoder-Decoder,mask位置可以随意

Template

人工构造


人为加入规则

结构化的Template
多个template整合
自动template

最终的template可能没有含义,但是work

Verblizer

把标签映射成标签词的过程。

本质上是如何用模型预测得到的分布,用它完成分类或者生成。

人为构造

训练新范式

应用

总结

Delta-Learning

背景与介绍

相关推荐
future141244 分钟前
C#学习日记
开发语言·学习·c#
Yo_Becky1 小时前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
DIY机器人工房1 小时前
0.96寸OLED显示屏 江协科技学习笔记(36个知识点)
笔记·科技·stm32·单片机·嵌入式硬件·学习·江协科技
逻辑01 小时前
Prompt:提示词工程
prompt
future14123 小时前
每日问题总结
经验分享·笔记
我是小哪吒2.03 小时前
书籍推荐-《对抗机器学习:攻击面、防御机制与人工智能中的学习理论》
人工智能·深度学习·学习·机器学习·ai·语言模型·大模型
✎ ﹏梦醒͜ღ҉繁华落℘4 小时前
WPF学习(四)
学习·wpf
✎ ﹏梦醒͜ღ҉繁华落℘4 小时前
WPF学习(动画)
学习·wpf
循环过三天5 小时前
3-1 PID算法改进(积分部分)
笔记·stm32·单片机·学习·算法·pid
生如夏花℡5 小时前
HarmonyOS学习记录3
学习·ubuntu·harmonyos