提示学习思想

提示学习

提示学习 是一种让预训练的大模型(尤其是语言模型或视觉-语言模型)执行特定任务的方法,其核心思想是:我们不直接调整模型的内部参数(即不进行或仅进行少量微调),而是通过设计一个特定的输入格式或"提示",来引导模型生成我们期望的输出。

提示学习 本质上是一种与参数冻结的大模型交互的新范式。它通过精心设计的输入文本来"唤醒"模型内部已有的知识和能力,使其能够完成五花八门的任务。这种方法极大地降低了大模型的应用门槛和计算成本,是推动AI技术普及和创新的重要驱动力。

对比学习

对比学习 是一种自监督学习范式,其核心思想可以概括为:

通过让模型学会"区分"相似与不相似的数据对,来学习数据的本质特征表示。

它不依赖于人工标注的标签,而是通过自己构造"正样本"和"负样本"来训练模型。(CLIP)

例如,步骤:

1 给你一张猫的图片(锚点样本)。

2 再给你一张同一只猫的不同角度照片(正样本),和一张狗的图片(负样本)。

3 目标是:让孩子学会识别出猫的照片和它的另一张照片是"相似的",而和狗的图片是"不同的"。

在这个过程中,孩子并没有被直接告知"猫"的定义,但他通过不断的对比,自己学到了"猫"的内在特征,以至于以后看到一只从来没见过的猫,也能认出来。

相关推荐
我的xiaodoujiao5 小时前
使用 Python 语言 从 0 到 1 搭建完整 Web UI自动化测试学习系列 20--PO(POM) 设计模式和用例撰写
python·学习·测试工具·设计模式·pytest
子不语1805 小时前
深度学习(一)——基础知识:Python语言/解释器/环境/编辑器
python·学习
许小禾上学记6 小时前
学习笔记 | 图论基础
笔记·学习·图论
胡萝卜3.06 小时前
深入理解栈与队列:核心特性与实战应用
c++·学习·queue·stack·stack和queue的使用
骁的小小站9 小时前
Verilator 和 GTKwave联合仿真
开发语言·c++·经验分享·笔记·学习·fpga开发
颜颜yan_13 小时前
UU远程——让工作、学习、娱乐跨设备无缝衔接,“远程”更像“身边”
学习·娱乐·远程工作
YJlio14 小时前
Process Monitor 学习笔记(5.24):工具栏参考与高效快捷键指南
笔记·学习·php
deng-c-f15 小时前
Linux C/C++ 学习日记(30):协程(一):同步和异步、协程的简要介绍、用户态CPU调度的实现
学习·协程·同步/异步
hello kitty w15 小时前
Python学习(11) ----- Python的泛型
windows·python·学习