[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning & Delta-learning

Prompt-Learning and Delta-Tunning

背景和概览

但是从T5开始,大模型越来越大了。

微调很难了。

模型的趋势

Model Scaling:模型越来越大

Difficult Tuning:微调越来越难

Prompt-Learning

基本组成与流程介绍

预训练和fine-tuning有一定的gap。毕竟是不同的任务。

通过额外增加模版。

映射到标签的过程称为verbalizer。

这样就使用了mask任务。弥补了不同之间的gap。

流程举例

如何考虑PLM,Template,Verbalizer

PLM

Auto-regressive有更好的生成能力,mask往往放最后

MaskLM有更好的理解能力,mask往往放中间

Encoder-Decoder,mask位置可以随意

Template

人工构造


人为加入规则

结构化的Template
多个template整合
自动template

最终的template可能没有含义,但是work

Verblizer

把标签映射成标签词的过程。

本质上是如何用模型预测得到的分布,用它完成分类或者生成。

人为构造

训练新范式

应用

总结

Delta-Learning

背景与介绍

相关推荐
芊寻(嵌入式)6 分钟前
C转C++学习笔记--基础知识摘录总结
开发语言·c++·笔记·学习
准橙考典34 分钟前
怎么能更好的通过驾考呢?
人工智能·笔记·自动驾驶·汽车·学习方法
hong16168842 分钟前
跨模态对齐与跨领域学习
学习
阿伟来咯~1 小时前
记录学习react的一些内容
javascript·学习·react.js
Suckerbin2 小时前
Hms?: 1渗透测试
学习·安全·网络安全
水豚AI课代表2 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
聪明的墨菲特i2 小时前
Python爬虫学习
爬虫·python·学习
Diamond技术流2 小时前
从0开始学习Linux——网络配置
linux·运维·网络·学习·安全·centos
密码小丑2 小时前
11月4日(内网横向移动(一))
笔记
斑布斑布2 小时前
【linux学习2】linux基本命令行操作总结
linux·运维·服务器·学习