强化学习

飞思实验室

跨越算力鸿沟与不可微壁垒：GPU张量化仿真如何重塑多智能体强化学习？在具身智能与多智能体强化学习（ MARL）的探索之路上，算法收敛速度与物理环境交互效率始终是横亘在科研人员面前的两座大山。

深度强化学习内核：从马尔可夫链到PPO的哲学与数学之美这是一篇为你整理的深度强化学习技术博客，内容侧重于核心原理与数学直觉，而非浅尝辄止的应用列表。如果说监督学习是模仿已有的答案，无监督学习是发现隐藏的模式，那么强化学习（Reinforcement Learning, RL）则是关于“如何在动态环境中通过序列决策，实现长期收益最大化”的学问。

【文献阅读 ICML 2026】RL算法：R2VPORL算法：R2VPO这一节，将从策略比值policy ratio的角度重新审视trust-region策略优化算法，并将证明，策略散度divergence的局部几何特征均由策略比值policy ratio的方差variance统一决定。这一发现引出了一种简单且具备理论依据的方案，替代裁剪操作：引入方差正则化目标函数来实现稳定参数更新，同时天然支持离线策略数据复用。

三级跳突破864维动作空间——QMIX-Hierarchical多无人机协同通信方法全解析【附python代码】导读：在战场或灾区的复杂电磁环境中，移动干扰器持续压制通信信号，地面IoT设备电量有限且分布不均。如何让多架无人机自主协同，一边躲避干扰、一边高效服务所有设备？本文介绍一种三层递进的多智能体深度强化学习方法——MaDRL (Multi-agent Deep Reinforcement Learning)，在仿真中实现吞吐量从基线的0.32飙升至0.96，干扰失败率降低66%。

PyTorch强化学习实战（18）——基于DQN处理股票交易问题在本节中，我们将尝试运用深度Q网络 (Deep Q-Network, DQN) 知识来处理更具现实意义的金融交易问题。我们的目标旨在突破 Atari 游戏的局限，展示如何将强化学习 (Reinforcement Learning, RL) 应用于另一个实际领域。

【文献阅读 ICML 2026】RL算法：Critique-GRPOCritique-GRPO：通过自然语言和数值反馈提升LLM推理能力基于数值反馈的在线强化学习使LLM能够通过试错机制(trial-and-error)学习，大幅提升了推理能力。然而，纯数值反馈的RL存在三大核心局限：

智能优化与强化学习

Gym（Gymnasium）仿真环境详解（二）：环境简介、入门算法、调参要点、核心挑战OpenAI Gym 目前已由 Farama Foundation 接管维护并更名为 Gymnasium，接口与原 Gym 高度兼容，是强化学习领域最主流的仿真环境库。以下按类别逐一介绍常用环境简介、入门算法、调参要点、核心挑战特性。

指掀涛澜天下惊

AI 基础知识十九强化学习前言RL 不再局限游戏 / 机器人，成为大语言模型对齐、通用人工智能核心工具。广泛地讲，强化学习是机器通过与环境交互来实现目标的一种计算方法。机器在环境的一个状态下做一个动作，这个环境发生相应的改变并且将相应的奖励反馈和下一轮状态传回机器。这个动作决策对未来产生（影响）的收益价值。分为三个层次结构组成：基本元素、主要元素、核心元素

机器学习之定义与三大范式过去十多年，从引爆深度学习浪潮的 ImageNet 图像竞赛、颠覆围棋认知的 AlphaGo，再到掀起生成式 AI 革命的 ChatGPT 大模型，每一次震撼行业的技术颠覆与跨越式突破，本质都是机器学习各类范式持续迭代、相互融合催生的成果。

PyTorch强化学习实战（14）——优先经验回放机制经验回放 (Experience Replay) 通过打破样本间的时序相关性，极大地稳定了训练过程，使深度Q网络 (Deep Q-Network, DQN) 能够从非平稳分布中高效学习。然而，传统经验回放采用均匀采样策略，对所有经验样本一视同仁，这引发了一个关键问题：是否所有经验都具有同等价值？2015 年，DeepMind 的研究团队发表了《Prioritized Experience Replay》，提出了一种全新的采样机制——优先级经验回放。该方法的核心是：强化学习算法可以从更重要、更有价值的经验中

【强化学习】数学推导专题，20W字总结（十五）😊你好，我是小航，一个正在变秃、变强的文艺倾年。 🔔本文讲解【强化学习】数学推导专题，20W字总结（十五），期待与你一同探索、学习、进步，一起卷起来叭！

【强化学习】MDP、贝尔曼方程与CartPole 编程，20W字总结（二）😊你好，我是小航，一个正在变秃、变强的文艺倾年。 🔔本文讲解【强化学习】MDP、贝尔曼方程与CartPole 编程，20W字总结（二），期待与你一同探索、学习、进步，一起卷起来叭！

07_verl-Trainer模块详解Trainer 模块是 verl 训练流程的控制中心，负责编排完整的 PPO（Proximal Policy Optimization）训练循环。它将数据加载、模型推理、奖励计算、优势估计、策略更新等环节串联成一个端到端的训练流水线，同时协调多个分布式 Worker 之间的协作。

RLinf复现RECAP（一）：从轨迹回报到优势标签与RECAP数据处理相关的代码主要位于，完整数据流如下，RLinf不会把Return和Advantage直接写回原始轨迹文件，而是保存成独立的Sidecar Parquet。例如,

08_verl-Workers模块详解Workers 模块是 verl 框架的计算执行层，是将训练和推理任务封装为可分布式执行工作器的核心抽象。如果说 Single Controller 是 verl 的"大脑"负责调度决策，那么 Workers 就是"四肢"——真正执行模型训练、推理生成、权重同步等计算密集型任务的实体。

02_verl-代码目录结构详解verl 是一个面向大语言模型（LLM）强化学习后训练的生产级框架，其代码组织遵循 “核心包 + 示例驱动 + 插件化扩展” 的三层架构模式。核心包 verl/ 封装了训练、推理、通信、检查点等全部基础设施；examples/ 以算法为维度提供开箱即用的运行脚本；tests/ 和 docs/ 分别保障质量与可维护性。

10_verl-Rollout模块详解Rollout 模块是 verl 框架的推理生成层，负责在 RL 训练循环中执行模型推理、生成序列（rollout sequences），为奖励模型和策略更新提供采样数据。它是连接"训练引擎"与"推理引擎"的桥梁，核心挑战在于：如何统一多种高性能推理引擎（vLLM / SGLang / HuggingFace / TRT-LLM）的接口，并在训练-推理切换时高效同步权重？

RLinf复现RECAP（二）：优势标签驱动pi0.5的CFG训练CFG全称为Classifier-Free Guidance（无分类器引导），最初主要用于扩散生成模型，通过比较条件预测和无条件预测，让生成结果更符合指定条件。例如，在图像生成任务中，模型可以分别计算，

05_verl-配置系统详解verl 作为一个支持大规模 RLHF 训练的分布式框架，其配置系统需要应对以下核心挑战：verl 如何管理复杂的训练配置？答案是：通过 BaseConfig 不可变数据类 + Hydra/OmegaConf 声明式配置 + YAML 分层组合的三层架构，实现从声明到实例化的完整配置管理管线。

06_verl-单控制器与分布式调度verl 的单控制器（Single Controller）分布式调度模型是其训练框架的神经中枢。它将分布式训练的复杂性封装在一个单进程控制器中，使得上层训练逻辑只需像调用本地方法一样调用远程 Worker 方法，而无需关心数据分片、进程间通信、资源分配等底层细节。这种设计让 RLHF 等复杂训练流程的编排变得简洁而高效。