提示学习思想

提示学习

提示学习 是一种让预训练的大模型(尤其是语言模型或视觉-语言模型)执行特定任务的方法,其核心思想是:我们不直接调整模型的内部参数(即不进行或仅进行少量微调),而是通过设计一个特定的输入格式或"提示",来引导模型生成我们期望的输出。

提示学习 本质上是一种与参数冻结的大模型交互的新范式。它通过精心设计的输入文本来"唤醒"模型内部已有的知识和能力,使其能够完成五花八门的任务。这种方法极大地降低了大模型的应用门槛和计算成本,是推动AI技术普及和创新的重要驱动力。

对比学习

对比学习 是一种自监督学习范式,其核心思想可以概括为:

通过让模型学会"区分"相似与不相似的数据对,来学习数据的本质特征表示。

它不依赖于人工标注的标签,而是通过自己构造"正样本"和"负样本"来训练模型。(CLIP)

例如,步骤:

1 给你一张猫的图片(锚点样本)。

2 再给你一张同一只猫的不同角度照片(正样本),和一张狗的图片(负样本)。

3 目标是:让孩子学会识别出猫的照片和它的另一张照片是"相似的",而和狗的图片是"不同的"。

在这个过程中,孩子并没有被直接告知"猫"的定义,但他通过不断的对比,自己学到了"猫"的内在特征,以至于以后看到一只从来没见过的猫,也能认出来。

相关推荐
重生之我是萧炎17 小时前
PR安装教程,Adobe Premiere Pro安装教程(含安装包),仅供学习使用
学习·adobe
蒸蒸yyyyzwd17 小时前
深搜广搜学习笔记
笔记·学习
叼烟扛炮18 小时前
[LangChain] 学习笔记(13):并发不是越大越好——batch / gather / 信号量 / 配额治理
笔记·学习·langchain
渣渣盟19 小时前
狂命爆肝99天,共52K字的JAVA学习笔记奉上,JAVA从入门到精通一文搞定,一文在手JAVA无忧
java·笔记·学习
叼烟扛炮1 天前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain
个 人 练 习 生1 天前
C++:从零基础到深入了解vector的使用
开发语言·c++·经验分享·学习·程序人生·stl
Rabitebla1 天前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
旖旎夜光1 天前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
zdr尽职尽责2 天前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
蒸蒸yyyyzwd2 天前
计算机网络后端面试错题
笔记·学习