提示学习思想

提示学习

提示学习 是一种让预训练的大模型(尤其是语言模型或视觉-语言模型)执行特定任务的方法,其核心思想是:我们不直接调整模型的内部参数(即不进行或仅进行少量微调),而是通过设计一个特定的输入格式或"提示",来引导模型生成我们期望的输出。

提示学习 本质上是一种与参数冻结的大模型交互的新范式。它通过精心设计的输入文本来"唤醒"模型内部已有的知识和能力,使其能够完成五花八门的任务。这种方法极大地降低了大模型的应用门槛和计算成本,是推动AI技术普及和创新的重要驱动力。

对比学习

对比学习 是一种自监督学习范式,其核心思想可以概括为:

通过让模型学会"区分"相似与不相似的数据对,来学习数据的本质特征表示。

它不依赖于人工标注的标签,而是通过自己构造"正样本"和"负样本"来训练模型。(CLIP)

例如,步骤:

1 给你一张猫的图片(锚点样本)。

2 再给你一张同一只猫的不同角度照片(正样本),和一张狗的图片(负样本)。

3 目标是:让孩子学会识别出猫的照片和它的另一张照片是"相似的",而和狗的图片是"不同的"。

在这个过程中,孩子并没有被直接告知"猫"的定义,但他通过不断的对比,自己学到了"猫"的内在特征,以至于以后看到一只从来没见过的猫,也能认出来。

相关推荐
罗西的思考42 分钟前
[Agent Memory / 强化学习] MemPO源码学习笔记 — (6)— 奖励机制
人工智能·笔记·学习
拾饵9421 小时前
第六周第二个项目笔记:FinInsRAG 项目学习笔记(零基础版)以及简历书写
笔记·学习
Lost_the_wind1 小时前
MySQL 学习笔记三
笔记·学习·mysql
欣欣之王来了1 小时前
开发环境准备:Node.js、npm、VS Code安装配置
前端·学习·架构·项目·vue3教程
火眼金睛记单词2 小时前
阅读理解核心词汇:破解英语阅读难题的利器
经验分享·学习
老王爱玩车2 小时前
文件操作从打开到缓冲区
c语言·开发语言·学习
和侧3 小时前
MOS器件——ESD测试
笔记·学习
优化Henry3 小时前
光路异常告警排查实战:LTE室分与5G小区两个案例解析
运维·网络·学习·5g·tdd
田里的水稻4 小时前
EI_模仿学习IL---工程链路
人工智能·深度学习·学习·机器学习·迁移学习
Linux-lucky4 小时前
43-Linux学习之旅之Shell 脚本(二)
linux·运维·学习·ubuntu·dash