【论文笔记】Kimi 1.5 技术报告

和 DeepSeek-R1 一样强调 RL 的作用,但更强调 prompt 的重要性。

整体 RL 架构:

整体训练流程:

RL

prompt

进行了 prompt 多样性、难度评估、随机猜测答案 三个方面进行了优化。

‒ 多样性:关注覆盖。

‒ 难度:用同一参数+高温度系数进行采样,评估 prompt 的难度。

‒ 正确性:删除一些容易猜对的答案

Cot SFT

拒绝采样来生成长 CoT 数据用于模型监督微调,并用四方面的内容强化模型:

‒ 规划:执行前先规划步骤

‒ 评估:不断规划评估中间步骤

‒ 检查:重新思考并改进回答

‒ 探索:鼓励进行替代方案的搜索

通过这些长 CoT 作冷启动,模型内化了这些能力。

RL 算法

基础目标是最大化回答的收益:

x 为 prompt,y* 为标准答案,πθ 是 LLM 网络参数, z 为中间规划的步骤,y~πθ(·|x,z),r 为奖励函数计算方法;

注意到这里 z 其实是一个两阶段采样,先根据 prompt 采样出完成任务的计划,再根据提示词和计划,采样得到答案。实际测试中, 再简单的问题都要经历这两步采样过程。

为了确保收敛的效果,使用 PG 时引入了 reference model 并用 KL 散度进行约束:

理想情况下,最优策略 π*应当满足:

其中 Z 为归一化参数:

两边取对数:

如此就可以定义 L2 损失函数:

问题是中间项难以计算,于是进行 K 次不同的采样,来实现对 Z 的近似。并且为了训练时的稳定性,将 K 次采样的奖励 r 作平均,得到了作为奖励函数的 baseline。

对 L(θ) 求梯度,就得到了最终的策略梯度:

其它技术

长度惩罚

为了避免像 Qwen 和 DeepSeek-R1 那样,随着训练模型输出结果越来越长,Kimi 引入了长度惩罚来减少成本。对于一个问题的 k 次答案正确的采样,计算每一个回答的长度,并给回答正确的答案增加一个长度正则:

当 len(i)= min_len 时,奖励为 0.5;当 len(i)=max_len 时,奖励为-0.5。整体而言,该奖励函数鼓励模型输出较短的回答。

采样策略

‒ 课程采样:采样那些当前模型难度适中的 prompt。从简单的任务开始训练,然后逐渐进入更有挑战性的任务。

‒ 错题优先:跟踪每个问题i的成功率si和与1 - si成比例的样本问题,以便成功率较低的问题获得较高的采样概率。

Long2Short

压缩模型输出长度的技术

‒ 模型合并:将长 Cot 和短 Cot 模型直接混合

‒ 最短拒绝采样:生成 8 次答案,选择其中答案最短的那条进行监督微调

‒ DPO:将短且正确的答案作为正样本,长、或者错误的答案作为负样本

‒ 长度惩罚,即之前提到的 λ

参考链接:

https://arxiv.org/abs/2501.12599

相关推荐
nenchoumi31196 小时前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
何大春9 小时前
【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
论文阅读·深度学习·神经网络·计算机视觉·视觉检测·论文笔记
王上上13 小时前
【论文阅读25】-滑坡时间预测-PFTF
论文阅读
李一帆'13 小时前
【论文阅读】Hierarchical Group-Level Emotion Recognition
论文阅读·计算机视觉
nenchoumi31191 天前
VLA 论文精读(十八)π0.5: a Vision-Language-Action Model with Open-World Generalization
论文阅读·人工智能·深度学习·语言模型·vla
江左子固2 天前
《Deep Learning Inference on Embedded Devices: Fixed-Point vs Posit》(一)
论文阅读
nenchoumi31192 天前
LLM 论文精读(二)Training Compute-Optimal Large Language Models
论文阅读·人工智能·笔记·学习·语言模型·自然语言处理
爱补鱼的猫猫2 天前
20、 DeepSeekMoE论文笔记
论文阅读·deepseekmoe
李一帆'2 天前
【论文阅读】Dual-branch Cross-Patch Attention Learning for Group Affect Recognition
论文阅读
初级炼丹师(爱说实话版)3 天前
Representation Flow for Action Recognition论文笔记
论文阅读