提示学习思想

提示学习

提示学习 是一种让预训练的大模型(尤其是语言模型或视觉-语言模型)执行特定任务的方法,其核心思想是:我们不直接调整模型的内部参数(即不进行或仅进行少量微调),而是通过设计一个特定的输入格式或"提示",来引导模型生成我们期望的输出。

提示学习 本质上是一种与参数冻结的大模型交互的新范式。它通过精心设计的输入文本来"唤醒"模型内部已有的知识和能力,使其能够完成五花八门的任务。这种方法极大地降低了大模型的应用门槛和计算成本,是推动AI技术普及和创新的重要驱动力。

对比学习

对比学习 是一种自监督学习范式,其核心思想可以概括为:

通过让模型学会"区分"相似与不相似的数据对,来学习数据的本质特征表示。

它不依赖于人工标注的标签,而是通过自己构造"正样本"和"负样本"来训练模型。(CLIP)

例如,步骤:

1 给你一张猫的图片(锚点样本)。

2 再给你一张同一只猫的不同角度照片(正样本),和一张狗的图片(负样本)。

3 目标是:让孩子学会识别出猫的照片和它的另一张照片是"相似的",而和狗的图片是"不同的"。

在这个过程中,孩子并没有被直接告知"猫"的定义,但他通过不断的对比,自己学到了"猫"的内在特征,以至于以后看到一只从来没见过的猫,也能认出来。

相关推荐
辰海Coding5 小时前
MiniSpring框架学习笔记-JDBC 访问框架:如何抽取 JDBC 模板并隔离数据库?
java·数据库·笔记·学习·spring
十月的皮皮5 小时前
C语言学习笔记20260609-字符串反转两种实现方法
c语言·笔记·学习
咸鱼翻身小阿橙5 小时前
C# WinForms 控件学习项目
开发语言·学习·c#
段一凡-华北理工大学5 小时前
工业领域的Hadoop架构学习~系列文章22:Hadoop生态展望 - 面向未来的技术演进
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
YangYang9YangYan5 小时前
学数据分析对学习编程的价值
学习·数据挖掘·数据分析
踏着七彩祥云的小丑5 小时前
Go学习第3天:变量+常量+运算符
开发语言·学习·golang·go
sensen_kiss5 小时前
CPT304 SoftwareEngineeringII 软件工程 2 Pt.6 批判性分析 / 关键性分析(Critical Analysis)
学习·软件工程
写代码的白开水5 小时前
从 RAG 到 LLM Wiki:团队知识库工程化的一点学习
学习
人邮异步社区5 小时前
请问如何系统地学习深度学习所需的数学基础?
人工智能·深度学习·学习
mightbxg5 小时前
【学习一下】余弦相似度+Sigmoid+交叉熵组合
深度学习·学习·机器学习