强化学习

Introducing Kimi K3.1 Pro——隆重推出 Kimi K3.1 ProKimi K3.1 Pro：K3.1 系列首款模型，3T 级开放权重，100 万 token 上下文窗口，在编程、3D 创作、金融研究、智能体能力上全面提升。

【四足强化学习经典算法】（一）：RMA——盲视运动控制与快速适应模块强化学习的价值不应局限于算法本身，更重要的是将其应用于复杂的实际问题。尤其是在机器人领域，面对传统控制方法难以应对的复杂环境与任务，强化学习为机器人自主决策与运动控制提供了新的思路。因此，学习强化学习不能仅停留在算法原理和简单环境的实验上，还需要结合复杂机器人与实际应用场景，进一步理解算法的设计思想与应用价值。

强化学习概念RL 的符号确实多，但常用的核心就十几个。下面按类别整理成表，附简称和一句话解释。V 和 Q 的区别：

【VideoLLM】Agentic Video Understanding视频理解综述原文：Agentic Video Understanding: A Survey（Xinyu Deng, Siwen Luo, Daochang Liu, The University of Western Australia），2026 年 9 月首发于 arXiv:2609.31713v1 项目页：https://github.com/DXY0711/Awesome-Agentic-Video-Understanding

腾讯Hy-Memory：让Agent学会正确记忆最近读了腾讯混元新出的 Hy-Memory-30B-A3B。github：https://github.com/Tencent-Hunyuan/Hy-Memory 论文：[2610.22196] Hy-Memory-30B-A3B: Attributed Reinforcement Learning for Long-Term Memory Writing

【模型式强化学习】（二）PETS——从概率动力学模型到模型预测控制（MPC）说人话：环境模型就是智能体自己写的一份操作说明书，查一下当前状态和动作，就知道下一步会到哪、能拿多少分

火星机器人life

从“会动”到“会学”：移动机器人学习型运动规划与控制全景综述具身智能（Embodied AI）的终极目标是让机器人像人一样，在与环境的持续交互中学习、进化。而运动规划与控制，正是机器人“如何交互”的底层答案。本文基于一篇系统综述，从系统架构这一全新视角，梳理学习型运动规划与控制的研究版图，并聚焦安全学习、Sim2Real 迁移与大语言模型三大关键支柱。

GAD-RL：OCR 模型总爱替图片『改错别字』？给蒸馏装一个看学生脸色的开关💡 一句话总结：视觉语言模型做 OCR 有个顽固毛病——看到图片里印错的词，会顺手「纠正」成语言上通顺的说法，把「读」干成了「改写」。这篇论文先实锤了一个反直觉现象：学生越好，老师的指导越容易帮倒忙，然后据此给「RL + 蒸馏」联合训练装上三个开关：掌握即关闭、越好越减弱、分歧大就缓一缓——CHAOS-Bench 扰动词召回从 51.47% 提到 59.92%，通用解析还不掉分。

第5篇（上）· 使用 PyQt5 实现 2048 算法求解版：五类搜索算法内核第 3 篇建立了 PyQt5 桌面版与 MVC 架构，第 4 篇补齐了平滑动画与渲染优化，两篇解决的是"2048 能不能玩"。本文转向另一个问题：给定一个 4 × 4 4\times4 4×4 局面，如何计算出一个可靠的方向。该问题可以形式化为带随机性的序贯决策问题（stochastic sequential decision problem）：评估函数刻画对当前局面的估值，搜索策略决定向前展望的深度。内容较多，本文（上篇）只讨论求解内核，界面集成与交互留待下篇。

P2TPO：整页文档解析只看总分是笔糊涂账——把功过算到每个 token 头上先问一个做文档解析的同行都会遇到的问题：你的解析模型用强化学习（RL）做后训练，反馈信号是什么？大概率是一个页面级总分。模型对着一张整页图片生成一篇 Markdown——正文、LaTeX 公式、HTML 表格混排——评测器对照标注答案打一个 0 到 100 的分，GRPO 这类组相对优化算法（Group Relative Policy Optimization，采样一组答案后按组内排名算优劣）拿着这个分数去更新参数。听起来顺理成章。

维度攻城狮

最基础的REINFORCE：小车倒立摆小车倒立摆的任务很直观：左右推小车，让车上的杆尽量保持直立。我们不给控制器写“杆向右倾就向右推”的规则，而是让它通过试错学会选择动作。

PyTorch强化学习实战（29）——深入解析强化学习中的探索策略在本节中，我们将讨论强化学习 (Reinforcement Learning, RL) 中的探索问题。探索/利用困境是 RL 的基础性问题，对高效学习至关重要。然而在之前的学习中，我们使用的是相对简单的环境探索方法——大多数情况下采用𝜖-贪婪动作选择。现在我们将深入 RL 的探索子领域，因为更复杂的环境可能需要比𝜖-贪婪策略更高效的探索策略。我们将通过实现所述方法来解决一个看似简单但仍具挑战性的问题——MountainCar 环境。这将帮助我们更好地理解这些方法的原理、实现方式及其行为特征。此后，我

5~7 分钟跑通第一个 Agentic RL 训练：我们把 verl 全链路做成了计算巢一键服务先说结论：我们把 ACK 官方文档方案在ACK上使用verl框架进行Agentic强化学习训练做成了计算巢一键部署服务，部署完成后下载模型和数据集、跑预置冒烟脚本，5~7 分钟第一个 Agentic RL 训练端到端跑通。这篇文章讲我们主要做了什么。

猫先生Mr.Mao

具身智能之Dex-One2Many详解：一条人类视频如何变成多种灵巧手行为【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

PolyOCR-Venus：蚂蚁把 OCR 从『抄写员』练成『视觉智能体』，教师蒸馏还会自己下岗💡 一句话总结：蚂蚁广见团队的 PolyOCR 想让 OCR 模型不只是「把字抄下来」，而是识别、定位、解析、抽取、理解、推理一把抓：6000 万实例按六大能力维度组织训练，后训练用 CGPO——先量出「教师在这个样本上到底比学生强多少、强得是否稳定」，再决定蒸馏开多重。OCRBench v2.1 英文榜 80.42 拿下第一，内部 KIE 甚至压过 GPT-5.6-Sol，还顺手把 OCRBench v2 的标注修了一遍。

【离策略强化学习】DDPG、TD3 与 SAC：核心公式推导与源码解析强化学习算法On-policyOff-policyPPOA2CTRPODQNDDPGTD3SAC说人话：在策略是"边做边学、做完就忘"，离策略是"先记在本子上，回头反复翻"

老周聊架构

领域模型进化：GRPO 强化学习与 Post-training Engineering通用大模型（base model）是个通才。它在万亿 token 上做过 next-token prediction，把世界知识压缩进了权重，但你让它写一段符合你公司合规规范的代码、审一份你领域的合同、跑通你内部系统的 SQL，它大概率会给你一个"看起来像那么回事"但细节不对的东西。从 Llama、Qwen 这样的 base model 到一个能在你业务里真正干活的领域智能体，中间差的不是预训练，而是 post-training。

PyTorch强化学习实战（28）——遗传算法在强化学习中的应用我们已经学习了进化策略 (Evolution Strategies, ES) 这一黑盒优化方法在强化学习 (Reinforcement Learning, RL) 中的应用，黑盒优化方法在大规模 RL 问题中具有适用性，并能与价值迭代和策略梯度方法竞争。尽管存在时间较长，这类方法在某些情境下仍然更具效率。具体而言，本节将介绍另一类黑盒优化方法：遗传算法。