强化学习

【强化学习】07周博磊强化学习纲要学习笔记——第四课上今日课程提纲：

机器学习高阶教程＜2＞优化理论实战：BERT用AdamW、强化学习爱SGD训练BERT时loss突然爆炸，调了学习率、查了数据却毫无头绪？用Adam训练大模型明明“公认更强”，可AlphaGo、ChatGPT的强化学习模块偏要执着于“古老”的SGD？GPU显存不足只能把batch_size从32压到4，结果训练震荡到根本无法收敛？

小白也能看懂的RLHF-PPO：原理篇原文: https://mp.weixin.qq.com/s/8O7W8--x14-b1d3M9IS_3w

RL中的同步和异步(On-Policy & Off-Policy)的通俗解释核心类比：餐厅厨房想象一个餐厅的厨房在做一道需要“边尝味道边调整”的菜（这就是RL训练）。• 流程：• 特点：

视觉&物联智能

【杂谈】-RL即服务：解锁新一轮自主浪潮强化学习本质上属于机器学习范畴，智能体通过与环境的交互来学习决策。具体而言，智能体执行动作后，会收到以奖励或惩罚形式呈现的反馈，进而逐步学习实现目标的策略。其基本原理可类比于训练狗的过程。当狗做出正确的行为时，我们会给予奖励，狗通过不断尝试，逐渐明白哪些动作能够带来奖励。强化学习系统基于类似原理，但处理的数据规模和计算量要庞大得多。

自动化小秋葵

强化学习-数据操作与预处理语法如图，第一列更正：[:,1] , [第x行，第y列]先学一下pytorch：本节内容全是基于pytorch的操作

【强化学习】06周博磊强化学习纲要学习笔记——第三课下今日课程提纲：接下来将介绍model-free control。就是当没法得到马尔科夫决策过程里面模型的情况下，如何去优化它的价值函数，如何去得到一个最佳的策略。这里我们将把之前我们介绍的policy iteration进行一个广义的推广，使它能够兼容MC和TD。

强化学习入门-5(MAPPO)本环境是 PettingZoo 库中 MPE (Multi-Agent Particle Environments) 系列的一个经典多智能体协作环境。

【强化学习】05周博磊强化学习纲要学习笔记——第三课上今日课程提纲：今天是强化学习纲要课程的第三课。我将给大家介绍model free prediction and control。就是在没有模型的条件下，怎么进行预测跟控制。上一次课我给大家介绍了MDP，然后给定一个policy怎么去衡量一个policy的价值。然后也介绍了两种常见的MDP控制的算法，就policy iteration以及value iteration。这里有一个很重要的不同是，我们是不是已知MDP，因为知不知道这个MDP会对我们选择算法有非常重要的影响。因为在现实生活中，大部分的MDP其

强化学习与机器人控制仿真

ProtoMotions 3 入门教程（一）开源 GPU 加速人形机器人强化学习仿真训练框架目录系列文章目录前言0.1 关键特性0.2 高层架构一、安装1.1 前提条件1.2 选择您的模拟器(s)

数据结构（C语言版）线性表-单链表的拓展及应用(1)算法的基本设计思想双指针：快慢指针定义两个指针变量 fast 和 slow ，初始时均指向头结点的下一个结点（链表的第一个结点）。 fast指针沿链表移动：当 fast 指针移动到第 k 个结点时， fast 指针开始与 slow 指针同步移动：当 fast 指针移动到最后一个结点时， slow 指针所指示结点为倒数第 k 个结点。以上过程对链表仅进行一遍扫描。

数据结构（C语言版）线性表-链表线性表链式存储结构的特点是：用一组任意的存储单元存储线性表的数据元素（这组存储单元可以是连续的，也可以是不连续的）。为了表示每个数据元素 a i 与其直接后继数据元素 a i+1 之间的逻辑关系，对数据元素 ai 来说，除了其本身的信息之外，还需要存储一个指示其直接后继的信息（直接后继的存储位置）。这两部分信息组成数据元素 a 的存储映像，称为节点（ node )。结点包括两个域：其中存储数据元素信息的称为数据域；存储直接后继存储位置有域称为指针域。指针域中存储的信息称作指针或链。 n个结点［ a (

肖邦德夜曲

1.强化学习基本概念强化学习的所有理论，都建立在一个统一的数学框架上，叫做马尔可夫决策过程 (MDP, Markov Decision Process)

【强化学习】关于PPO收敛问题写了好几个版本的PPO，很容易出现的问题。1.注意两处维度须一致2.梯度问题即：其实就是求导问题：一般来说，目标值不需要梯度例子，目标值为5， x-5求导为1 ，否则对x - y 求导就会报错。

华师数据学院·王嘉宁

DeepSeek-Math-V2解读：稠密Reward信号回归到RLVR最近半年博主工作科研比较繁忙，有段时间没有写博客了，但并不代表博主没有更新相关技术，后续会补上更多科研信息。

强化学习与机器人控制仿真

Holosoma 开源人形机器人强化学习训练部署框架目录系列文章目录前言一、功能特性二、文档2.1 Holosoma 训练框架2.1.1 训练2.1.1.1 运动控制（速度跟踪）

肖邦德夜曲

8.IsaacGymEnvs (NVIDIA 官方)的shadow灵巧手强化学习下载库激活虚拟环境进入文件夹安装依赖打开另一个终端，进入文件夹运行历程（shadowhand手旋转魔方）

基于强化学习的自动驾驶控制本文描述了一种用于自动驾驶汽车的控制系统。该控制系统基于深度神经网络。由于无法预先形成高质量的训练样本，因此考虑使用强化学习。文中还描述了建模环境实现的可能方案。

扩散模型简介：The Annotated Diffusion ModelIn this blog post, we'll take a deeper look into Denoising Diffusion Probabilistic Models (also known as DDPMs, diffusion models, score-based generative models or simply autoencoders) as researchers have been able to achieve remarkable results with them f

七牛云行业应用

告别RLHF？DeepSeek过程奖励(PRM)架构解析与推理数据流设计摘要： DeepSeek 刚刚发布的 Math-V2 模型凭借 7B 参数量在 IMO 级数学测试中击败了 GPT-4。这标志着大模型训练正在从“结果导向（ORM）”向“过程导向（PRM）”跃迁。本文深度解析 DeepSeek 的“元验证”架构，并探讨在这一新范式下，面对指数级增长的推理过程数据，企业应如何构建适配的高吞吐存储基础设施。