提示学习思想

提示学习

提示学习 是一种让预训练的大模型(尤其是语言模型或视觉-语言模型)执行特定任务的方法,其核心思想是:我们不直接调整模型的内部参数(即不进行或仅进行少量微调),而是通过设计一个特定的输入格式或"提示",来引导模型生成我们期望的输出。

提示学习 本质上是一种与参数冻结的大模型交互的新范式。它通过精心设计的输入文本来"唤醒"模型内部已有的知识和能力,使其能够完成五花八门的任务。这种方法极大地降低了大模型的应用门槛和计算成本,是推动AI技术普及和创新的重要驱动力。

对比学习

对比学习 是一种自监督学习范式,其核心思想可以概括为:

通过让模型学会"区分"相似与不相似的数据对,来学习数据的本质特征表示。

它不依赖于人工标注的标签,而是通过自己构造"正样本"和"负样本"来训练模型。(CLIP)

例如,步骤:

1 给你一张猫的图片(锚点样本)。

2 再给你一张同一只猫的不同角度照片(正样本),和一张狗的图片(负样本)。

3 目标是:让孩子学会识别出猫的照片和它的另一张照片是"相似的",而和狗的图片是"不同的"。

在这个过程中,孩子并没有被直接告知"猫"的定义,但他通过不断的对比,自己学到了"猫"的内在特征,以至于以后看到一只从来没见过的猫,也能认出来。

相关推荐
旖旎夜光1 天前
C++(17)
c++·学习
专注于大数据技术栈1 天前
java学习--StringBuilder
java·学习
qcwl661 天前
操作系统 真象还原 学习笔记#13
笔记·学习
车载测试工程师1 天前
CAPL学习-CAN相关函数-概述
网络协议·学习·capl·canoe
roman_日积跬步-终至千里1 天前
【人工智能导论】08-学习-如何让计算机理解序列数据——用RNN/LSTM建模时序依赖,用文本嵌入表示序列元素
人工智能·rnn·学习
m0_689618281 天前
30 分钟打印!多材料3D打印软机器人内置驱动 + 自主避障
笔记·学习·机器人
charlie1145141911 天前
现代嵌入式C++教程:C++98——从C向C++的演化(2)
c语言·开发语言·c++·学习·嵌入式·教程·现代c++
Rousson1 天前
硬件学习笔记--93 静电防护方案(电阻、磁珠、电感、TVS等)
笔记·单片机·学习
思成不止于此1 天前
【MySQL 零基础入门】事务精讲(二):ACID 特性与并发问题
数据库·笔记·学习·mysql
happyhappy没有句号1 天前
嵌入式单片机一套通关学习笔记
笔记·单片机·嵌入式硬件·学习