[学习笔记]刘知远团队大模型技术与交叉应用L4-Prompt-learning & Delta-learning

Prompt-Learning and Delta-Tunning

背景和概览

但是从T5开始,大模型越来越大了。

微调很难了。

模型的趋势

Model Scaling:模型越来越大

Difficult Tuning:微调越来越难

Prompt-Learning

基本组成与流程介绍

预训练和fine-tuning有一定的gap。毕竟是不同的任务。

通过额外增加模版。

映射到标签的过程称为verbalizer。

这样就使用了mask任务。弥补了不同之间的gap。

流程举例

如何考虑PLM,Template,Verbalizer

PLM

Auto-regressive有更好的生成能力,mask往往放最后

MaskLM有更好的理解能力,mask往往放中间

Encoder-Decoder,mask位置可以随意

Template

人工构造


人为加入规则

结构化的Template
多个template整合
自动template

最终的template可能没有含义,但是work

Verblizer

把标签映射成标签词的过程。

本质上是如何用模型预测得到的分布,用它完成分类或者生成。

人为构造

训练新范式

应用

总结

Delta-Learning

背景与介绍

相关推荐
小A1594 分钟前
STM32完全学习——使用标准库完成定时器中断
stm32·单片机·学习
黑客呀6 分钟前
网络安全的学习路线
学习·安全·web安全
美式小田9 分钟前
单片机学习笔记 10. 中断系统(理论)
笔记·单片机·嵌入式硬件·学习
宇宙大豹发25 分钟前
【Python】爬虫实战:高效爬取电影网站信息指南(涵盖了诸多学习内容)
开发语言·爬虫·python·学习·python爬虫·python代码·python使用
陈奕迅本讯1 小时前
人力资源项目学习
java·学习
2401_878467321 小时前
大连环保公益管理系统|Java|SSM|Vue| 前后端分离
java·开发语言·学习·tomcat·maven
青椒大仙KI111 小时前
24/11/24 视觉笔记 滤镜
笔记·深度学习·计算机视觉
大佬,救命!!!1 小时前
Python编程整理汇总(基础汇总版)
开发语言·笔记·python·pycharm·学习方法·启发式算法
向前看-1 小时前
青训营刷题笔记17
c++·笔记·算法
陈奕迅本讯1 小时前
数据结构-位运算笔记
笔记