LLM | 论文速读:如何使用 RL 缓解 LLM 过长问题

这是最近比较感兴趣的方向。搜索了一些论文,准备读一下。

背景:据观察,现在各家 LLM 普遍存在"输出越来越长"的情况。甚至,有些 Agent 在解决实际问题时,如 coding 场景,会出现"雷霆大思考":一直 thinking,迟迟不进行真正的输出,导致任务进度停滞,并且浪费用户的 token。这可能与 RL 训练有关:RL 训练过程会鼓励 Agent 思考得更详尽、周密、考虑到各种 Corner case,某种程度上促使 Agent 反复思考、深度思考、以非常长的长度思考;甚至有些场景下,性能指标和长度存在微妙的正相关关系。

以下论文阅读,试图探寻 RL、Behavior Reward Model 和 Agent 输出长度之间的张力,以及思考可能性:我们可否"反其道而行之",探寻 Agent 输出过长的深层原因,以 Behavior RM 的形式由 RL 加以惩罚,从而通过 RL 抑制 LLM 输出长度增长?

强相关文章

(还没读,判断不一定可靠)

When Agents go Astray: Course-Correcting SWE Agents with PRMs

Think Dense, Not Long: Dynamic Decoupled Conditional Advantage for Efficient Reasoning

Do LLMs Really Need 10+ Thoughts for "Find the Time 1000 Days Later"? Towards Structural Understanding of LLM Overthinking

SWE-TRACE: Optimizing Long-Horizon SWE Agents Through Rubric Process Reward Models and Heuristic Test-Time Scaling

弱相关文章

(还没读,判断不一定可靠)

Reconsidering Overthinking: Penalizing Internal and External Redundancy in CoT Reasoning

  • arXiv:https://arxiv.org/abs/2508.02178
  • PDF:https://arxiv.org/pdf/2508.02178
  • HTML:https://arxiv.org/html/2508.02178
  • 内容概括(还没有读):将 overthinking 区分为 internal redundancy(首次正确答案出现前,缺乏信息增益的推理)和 external redundancy(得到正确答案后仍继续推理)。提出双重 RL penalty:通过滑动窗口语义相似度惩罚内部冗余,通过长度比例惩罚外部冗余。感觉这篇会有些旧了(?)

AgentPRM: Process Reward Models for LLM Agents via Step-Wise Promise and Progress

TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents

相关推荐
泯泷1 天前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
泯泷1 天前
当"孤独的开发者"成为常态,AI正在悄悄杀死那个我们熟悉的互联网
人工智能·chatgpt·llm
泯泷2 天前
给你一个免费的20人 AI 团队,你的胜算真的变大了吗?
人工智能·llm
xyphf_和派孔明2 天前
第十章: Agent Skill的调用机制解读
langchain·llm·agent
真上帝的左手2 天前
26. AI-大语言模型-基础
人工智能·ai·架构·llm·大语言模型
XLYcmy3 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 上
llm·prompt·模糊测试·漏洞修复·漏洞检测·deepseek·消融实验
泯泷3 天前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
XLYcmy3 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
M--Y4 天前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph
xyphf_和派孔明4 天前
第十章: LangGraph的人机交互Human-in-the-loop实践
langchain·llm