文章目录
-
-
- [1. 先唠唠：为啥传统蒸馏不够用了](#1. 先唠唠：为啥传统蒸馏不够用了)
-
- [1.1 以前的玩法，本质就是抄答案](#1.1 以前的玩法，本质就是抄答案)
- [1.2 现在卷的方向，早就变了](#1.2 现在卷的方向，早就变了)
- [2. 捋一捋：大模型对齐的进化之路](#2. 捋一捋：大模型对齐的进化之路)
-
- [2.1 从认字到会说话](#2.1 从认字到会说话)
- [2.2 从会说话到说人话](#2.2 从会说话到说人话)
- [2.3 最后到学霸直接带飞](#2.3 最后到学霸直接带飞)
- [3. 说人话：OPD到底是个啥东西](#3. 说人话：OPD到底是个啥东西)
-
- [3.1 核心转变：不学答案，学排序](#3.1 核心转变：不学答案，学排序)
- [3.2 为啥叫"在线"？因为全程实时互动](#3.2 为啥叫“在线”？因为全程实时互动)
- [4. 一句话分清：KD和OPD的核心区别](#4. 一句话分清：KD和OPD的核心区别)
-
- [4.1 底层逻辑完全不一样](#4.1 底层逻辑完全不一样)
- [4.2 举个最接地气的例子](#4.2 举个最接地气的例子)
- [5. 说点干的：底层逻辑其实很简单](#5. 说点干的：底层逻辑其实很简单)
-
- [5.1 核心就是成对比大小](#5.1 核心就是成对比大小)
- [5.2 为啥必须加约束？不然模型会耍小聪明](#5.2 为啥必须加约束？不然模型会耍小聪明)
- [6. 工业界为啥突然都拥抱OPD了](#6. 工业界为啥突然都拥抱OPD了)
-
- [6.1 第一，RLHF实在是太贵了](#6.1 第一，RLHF实在是太贵了)
- [6.2 第二，高质量标注越来越难找](#6.2 第二，高质量标注越来越难找)
- [6.3 第三，学霸本身就能当裁判](#6.3 第三，学霸本身就能当裁判)
- [6.4 第四，小模型越出越多，批量复制更香](#6.4 第四，小模型越出越多，批量复制更香)
- [7. 真实工业玩法：用顶级模型带小模型](#7. 真实工业玩法：用顶级模型带小模型)
-
- [7.1 为啥不直接用顶级模型？用不起啊](#7.1 为啥不直接用顶级模型？用不起啊)
- [7.2 一条能一直传下去的偏好链](#7.2 一条能一直传下去的偏好链)
- [8. 别搞混：RLHF、DPO、OPD到底啥关系](#8. 别搞混：RLHF、DPO、OPD到底啥关系)
- [9. 也不是万能的：优势和坑都得说](#9. 也不是万能的：优势和坑都得说)
-
- [9.1 好处是真的香](#9.1 好处是真的香)
- [9.2 坑也真不少](#9.2 坑也真不少)
- [10. 最后收个尾](#10. 最后收个尾)
-
P.S. 无意间发现了一个巨牛的人工智能教程，非常通俗易懂，对AI感兴趣的朋友强烈推荐去看看，传送门https://blog.csdn.net/HHX_01
今天跟大家聊个大模型圈最近越来越火的技术方向------OPD。
说白了就是，大模型蒸馏的目标，已经从抄知识变成了抄判断力。
1. 先唠唠：为啥传统蒸馏不够用了
1.1 以前的玩法，本质就是抄答案
传统知识蒸馏大家都熟，大模型当老师，小模型当学生。
老师输出一套token概率分布，学生照着拟合就行。
就像考试背标准答案，连每个选项的迷惑性比例都背得明明白白。
比如问法国首都是啥，老师输出巴黎占96%，伦敦2%，东京2%。
学生连这个概率比例都一起学，知识点掌握得死死的。
1.2 现在卷的方向，早就变了
但发展到今天，大模型之间的知识储备其实拉不开多大差距。
你能覆盖的知识点，我训练数据喂够了也都能有。
真正拉开用户体验差距的，是回答合不合心意、安不安全、会不会说话。
就像同样回答"怎么学Python"，给新手甩一堆工程化术语，知识全对，但人家直接劝退。
传统KD根本分不出这种好坏，它只知道这俩答案的token都合理。
这就很尴尬了：知识学到位了，用户就是不爱用。
2. 捋一捋：大模型对齐的进化之路
OPD不是凭空蹦出来的新概念，它是对齐技术一路演进到现在的产物。
我给大家掰着指头数，整个过程一共好几步。
2.1 从认字到会说话
最开始是预训练阶段，模型在海量文本里学语言规律。
这阶段就像小孩刚背完字典，字都认识，凑一起就不会正常聊天。
然后是SFT监督微调，用标注好的问答对教它按指令输出。
到这一步，模型终于能正常对话了，但回答质量全靠标注数据撑着。
2.2 从会说话到说人话
再往后就是大家熟悉的RLHF，先训个奖励模型当评委，再用强化学习调策略。
相当于雇一堆人给回答排序，手把手教模型"人类更喜欢啥"。
效果是真好，就是又贵又麻烦，流程长、不稳定，调参能调到头秃。
后来出了DPO，直接跳过显式的奖励模型，用偏好数据对直接训练。
相当于把评委的意见直接做成练习题，一步到位，流程简单了一大截。
2.3 最后到学霸直接带飞
再往后演进，就是今天的主角OPD了。
既然已经有模型把对齐能力练到满级了，那还每个模型都重新走一遍流程干啥？
直接让这个满级学霸当老师，把判断力教给小模型不就完了。
一路看下来趋势特别明显：对人工标注的依赖越来越低，模型自身的判断力用得越来越多。
3. 说人话：OPD到底是个啥东西
3.1 核心转变：不学答案，学排序
传统KD里，老师给的是标准答案。
OPD里，老师不给具体答案，只给排名。
学生先生成好几个候选回答，老师告诉它哪个最好、哪个最差。
学生不用死记硬背某一个固定答案，而是学会判断"什么样的回答更好"。
这就像学画画，以前是照着原画抄细节，现在是大师给你几张习作排好坏，你自己悟审美。
3.2 为啥叫"在线"？因为全程实时互动
很多人好奇，为啥要叫"在线"偏好蒸馏。
传统蒸馏是离线的，老师提前把所有题的答案都生成好，学生对着固定数据集反复练。
就像提前印好的习题册，答案都是写死的。
OPD不一样，学生每更新一次参数，生成的回答风格就会变。
老师每次都对着新生成的回答重新打分排序，全程动态迭代。
相当于学霸一对一陪练，你每练一轮，他就给你批一轮新的，针对性极强。
4. 一句话分清：KD和OPD的核心区别
其实本质差别一句话就能说清：KD复制知识，OPD复制判断。
4.1 底层逻辑完全不一样
KD学的是token概率分布，损失用的是KL散度。
OPD学的是回答排序，损失用的是偏好函数。
KD的老师是固定的，提前生成完数据就没事了。
OPD的老师全程参与训练，每一轮都要实时输出判断。
KD面向的是知识正确性，OPD面向的是人类偏好对齐。
4.2 举个最接地气的例子
就像找工作面试。
KD是背面试题库，每道题的标准答案都背得滚瓜烂熟。
OPD是面试官给你复盘，告诉你这么答更讨喜、那么答容易踩雷。
死背答案的人，遇到新题直接懵；学会判断的人，啥题都能答到点子上。
5. 说点干的：底层逻辑其实很简单
5.1 核心就是成对比大小
说出来大家可能不信，OPD的损失函数底层就一个朴素思路：成对比较。
拿出一个优选回答和一个较差回答，模型要学会给好的打高分，差的打低分。
这个建模思路叫Bradley‑Terry模型，听着高大上，本质就是比谁更优。
RLHF的奖励模型、DPO的目标函数，根子上都是这个逻辑。
5.2 为啥必须加约束？不然模型会耍小聪明
这里有个经典的坑，很多团队都踩过。
如果不加任何约束，模型会耍鸡贼：它把自己的输出方差拉得特别大。
反正只要好的那个概率更高、差的更低，损失就能降下来，至于整体生成质量？不管。
就像考试为了超过同桌，不是自己提分，而是想办法让同桌考砸。
所以真实训练里都会加个KL约束，也就是参考策略正则，不让模型跑偏太远。
6. 工业界为啥突然都拥抱OPD了
说白了，无外乎成本和效果的账，终于算过来了。
6.1 第一，RLHF实在是太贵了
完整的RLHF流程，训奖励模型、跑PPO强化学习，工程复杂度直接拉满。
调试成本、算力成本都高得吓人，单模型还好，模型矩阵一大根本扛不住。
现在谁家没个7B、14B、32B、70B全家桶，每个都走一遍RLHF，财务看了都摇头。
6.2 第二，高质量标注越来越难找
以前模型能力弱，普通标注员就能分出回答好坏。
现在模型越来越强，代码、数学这些专业场景，普通标注员根本分不清高下。
高质量标注越找越贵，供给还越来越少，边际成本蹭蹭往上涨。
6.3 第三，学霸本身就能当裁判
现在顶级大模型的判断力，其实已经超过普通人类标注员了。
人家自己就是经过层层对齐练出来的，本身就是个现成的隐式奖励模型。
放着这么好用的裁判不用，再花钱找人标注，属实是有点浪费资源。
6.4 第四，小模型越出越多，批量复制更香
一个大老师，能带一堆不同尺寸的小学生。
只要老师持续输出排序信号，多少个学生都能同步跟着学。
学生数量越多，平均成本越低，规模化的优势特别明显。
7. 真实工业玩法：用顶级模型带小模型
7.1 为啥不直接用顶级模型？用不起啊
很多人说，既然老师这么强，直接用老师上线不就完了？
朋友，按token计费的闭源API，高并发场景跑一个月，成本能给你惊掉下巴。
而且延迟还不可控，对方服务器啥负载你根本管不着，私有化部署更是想都别想。
小模型就不一样了，自己部署、自己调优，延迟成本全攥在自己手里。
OPD的妙处就在这：用一次训练的老师调用成本，换一个能长期低成本运行的模型。
老师只需要当裁判，不用上场干活，脏活累活全让学生干。
7.2 一条能一直传下去的偏好链
更有意思的是，这份判断力是能逐级往下传的。
顶级大模型教给中模型，中模型再教给小模型，小模型还能教给更小的。
模型尺寸一级比一级小，推理成本一级比一级低，但"什么是好回答"的判断能一直传递下去。
就像门派传武功，掌门传给长老，长老传给弟子，核心心法一直没变。
8. 别搞混：RLHF、DPO、OPD到底啥关系
很多人对着三个概念犯迷糊，其实一句话就能分清各自定位。
RLHF是先训练一个会打分的老师，再用这个老师去优化学生。
DPO是不用单独训老师了，直接用偏好数据把学生教会判断。
OPD是已经有个满级老师了，直接让他把打分能力教给新学生。
简单总结：RLHF造老师，DPO简化造老师的流程，OPD是老师直接批量带徒弟。
9. 也不是万能的：优势和坑都得说
9.1 好处是真的香
首先对齐效果确实好，直接冲着人类偏好优化，不是只盯着知识点对不对。
安全性也更容易把控，合不合规、有没有风险，直接编进排序标准里。
还有风格、语气这些主观的东西，传统KD学不来，OPD能很好地传递过去。
9.2 坑也真不少
首先老师成本不低，每一轮训练都要调用，轮数多了也是笔不小的开支。
然后排序本身就有主观性，同一个问题，老师这次和上次的判断可能都不一样。
在线训练的工程复杂度也高，生成、打分、参数更新串成闭环，比离线蒸馏麻烦多了。
还有就是偏好漂移，不加约束很容易越训越偏，最后输出质量直接崩盘。
10. 最后收个尾
传统蒸馏解决的问题，是"让小模型知道更多"。
OPD解决的问题，是"让小模型判断得更好"。
大模型卷到今天，知识储备早就不是核心壁垒了。
真正拉开差距的，是对齐能力，是价值判断能力。
而OPD，就是把这种能力批量复制的工程落地方案。
以后大模型的竞争，说白了就是谁的判断力能更低成本、更快地复制到各种尺寸的模型里。
P.S. 无意间发现了一个巨牛的人工智能教程，非常通俗易懂，对AI感兴趣的朋友强烈推荐去看看，传送门https://blog.csdn.net/HHX_01