【论文笔记】【强化微调】TinyLLaVA-Video-R1:小参数模型也能视频推理

[2504.09641] TinyLLaVA-Video-R1: Towards Smaller LMMs for Video Reasoning

1. 引述

继之前的一篇 Video-R1 的工作,一篇新的关于视频推理的工作很快就上传到 Arxiv 上 "占坑" 了,这个工作是关于使用小参数(3B)的 LLM 进行视频推理。

之前那篇 Video-R1 的工作:【论文笔记】【强化微调】T-GRPO:对视频数据进行强化微调-CSDN博客

为什么说是 "占坑" 呢?这篇论文采用 GRPO 作为微调方法,并未说明为什么不采用 T-GRPO,而只是在其第 5 节 Conclusion and Future Work 提了一句当前微调方法有局限,未来慢慢改进。

其原文如下:

Currently, TinyLLaVA-Video-R1 employs the GRPO algorithm for training. However, this approach exhibits notable limitations. To enhance its effectiveness in video reasoning tasks, we plan to refine the algorithm by addressing the key challenges observed in our experiment.

纵观整篇论文,其核心目的是探索小模型的推理能力,而得到的结果是这样的小模型也能很好推理,并且能在强化微调后能比肩 7B 模型。下图就是 Qwen-7B 和强化微调后的 Qwen-3B 的对比实验:

有这篇论文作为依据,后续的研究就可以采用 3B 小模型,也不吃资源算力了。

2. 奖励设置

这篇论文是微调小参数 LLM,用的算法是传统 GRPO,因此方法核心点就在于奖励的设计上了。论文的奖励设计有三点:

  • 格式奖励:格式是否正确
  • 思考奖励:鼓励正确的长思考
  • 准确奖励:回答问题正确给奖励

首先是格式奖励,论文要求 LLM 输出结果得有思考过程 <think> 和输出答案 <answer>,并且每次输出只能有一对 <think></think> 和一对 <answer></answer>,格式正确之后给予 的奖励。

然后是思考奖励,论文鼓励 LLM 进行长文本的思考,<think> 的长度 越长,则奖励越多,最大为 ,但是存在一个上限 ,这是为了防止 LLM 无脑堆文本。思考奖励呈线性,写成公式如下:

论文定义格式奖励包含了思考奖励,也就是说格式奖励的公式如下:

最后是正确性奖励,回答正确给予 的得分,答错不给分。而正确答案的得分 和格式最大得分 是一致的,也就是说 ,这是为了让答案得分和格式得分具有相同的权重。公式如下:

最终的模型奖励如下:

也就是说,当格式且答案正确时,得分是正确性奖励 和格式奖励 的总和;当答案错误时,你的思考过程被试做全错,此时给予惩罚 ,如果你的 <think> 文本越长,惩罚越重;当格式都错误时,给予最大惩罚。

相关推荐
安逸sgr24 分钟前
Zotero白嫖腾讯云翻译
论文阅读·云计算·腾讯云
飞机火车巴雷特5 小时前
【论文阅读】LightThinker: Thinking Step-by-Step Compression (EMNLP 2025)
论文阅读·人工智能·大模型·cot
网安INF5 小时前
【论文阅读】-《THE JPEG STILL PICTURE COMPRESSION STANDARD》
论文阅读·计算机视觉
张较瘦_5 小时前
[论文阅读] 人工智能 + 软件工程 | ReCode:解决LLM代码修复“贵又慢”!细粒度检索+真实基准让修复准确率飙升
论文阅读·人工智能·软件工程
张较瘦_5 小时前
[论文阅读] 软件工程 | 告别“线程安全玄学”:基于JMM的Java类静态分析,CodeQL3分钟扫遍GitHub千仓错误
java·论文阅读·安全
温柔哥`8 小时前
AgentThink:一种在自动驾驶视觉语言模型中用于工具增强链式思维推理的统一框架
语言模型·自动驾驶·agent·工具调用·grpo·强化微调·tool call
源于花海11 小时前
Energy期刊论文学习——基于集成学习模型的多源域迁移学习方法用于小样本实车数据锂离子电池SOC估计
论文阅读·迁移学习·集成学习·电池管理
CV-杨帆17 小时前
论文阅读:ACL 2022 Beyond Goldfish Memory∗: Long-Term Open-Domain Conversation
论文阅读
有点不太正常17 小时前
《A Study of Probabilistic Password Models》(IEEE S&P 2014)——论文阅读
论文阅读·密码学·口令猜测·马尔可夫链
Arong-tina17 小时前
【论文阅读—深度学习处理表格数据】ResNet-like & FT Transformer
论文阅读·深度学习·transformer