技术栈
强化学习
草履虫AI课
1 天前
强化学习
强化学习从零到一 05|蒙特卡洛:跑完整趟,用平均回报估价值
【上期回顾】上一篇讲了动态规划:策略评估、策略改进轮流做,就能算出最优策略。可它每一步都要用环境模型,也就是转移概率 pp p 和奖励 rr r。在第 3 篇的算法地图上,它属于左半边:基于环境模型(model-based)。
泯泷
2 天前
llm
·
agent
·
强化学习
该 SFT、RL 还是 Mid-training?先搞清楚模型到底"缺"了什么
原文:mp.weixin.qq.com/s/lEF1nq0dw…(2026年10月09日)想象一下:你请了一位“全能家教”,他上知天文、下知地理。可当你让他用法语写文案、按公司模板填表,或者做一道他从没见过的题时,他要么答错,要么干脆“编”一个。
泯泷
2 天前
llm
·
agent
·
强化学习
模型"缺课"了:为什么该补底座,而不是急着上 RL
原文:mp.weixin.qq.com/s/F7j4xss6a…(2026年10月12日)先看一个很常见的困惑。
盼小辉丶
3 天前
人工智能
·
pytorch
·
深度学习
·
强化学习
PyTorch强化学习实战(35)——多智能体强化学习
在本节中,我们将介绍多智能体强化学习 (multi-agent reinforcement learning, MARL),这是强化学习 (Reinforcement Learning, RL) 和深度强化学习的一个相对较新的方向,涉及多个智能体在环境中进行交互的情况。在现实生活中,这类问题出现在宽带通信网络、物联网等场景中。 在本节中,我们将简要介绍 MARL,并在简单环境中进行一些实验。在实验中,我们将采用一种简单的方法,让智能体共享我们正在优化的策略,但观察将从每个智能体的视角出发,并包含其他智能体
Rocky Ding*
4 天前
论文阅读
·
人工智能
·
深度学习
·
机器学习
·
aigc
·
强化学习
·
ai-native
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
欢迎大家关注Rocky的知乎:Rocky Ding 《三年面试五年模拟》AIGC/LLM/AI Agent算法工程师/开发工程师求职面试秘籍独家资源:【三年面试五年模拟】WeThinkIn/AIGC-Interview-Book,欢迎大家Star~
lucas_AI
5 天前
机器学习
·
强化学习
RL 训练的树枝该长在哪?别看哪里不确定,要看哪里的「梯度」最值钱
💡 一句话总结:用树形 rollout 训练 LLM(在关键决策点分叉、探索多种走法)是 RL 训练的进阶玩法,但「树枝放在哪」一直靠直觉——通常是在模型不确定的地方多分支。Tzafon AI 的 EPIG-Tree 从数学上证明这不完整:正确的目标是「让策略梯度的估计方差最小」,由此推出两条分配律。多轮游戏胜率 0.850 vs GRPO 0.790,理论实践双闭环。
爱听歌的周童鞋
7 天前
大语言模型
·
强化学习
·
tinyml
·
后训练
·
mit 6.5940
·
高效 ai 计算
MIT 6.5940 | TinyML 与高效 AI 计算 | Fall 2026 | 笔记 | Lecture 14:LLM Post Training
学习 MIT 韩松教授讲授的 MIT 6.5940: Tiny ML and Efficient AI Computing 课程,本篇文章记录 第十四讲:LLM 后训练 的学习内容,和大家一起分享交流😄
橙臣程
7 天前
强化学习
RL 冷启动省在哪?从 GRPO 同分组到工具调用奖励
假设要训练一个能在沙箱里修复小程序的助手。一次合格的修复需要提交补丁,并实际跑过要求的回归用例。拿基座做一轮 rollout,发现它有时只解释报错,有时改了代码却没验证,就直接说「修好了」。验证器只判最终任务是否成功,给每条轨迹打 0 或 1。给同一个问题多采样几次,可能还是一组 0。冷启动 SFT 值不值得做,可以先算一笔采样账。
草履虫AI课
8 天前
强化学习
强化学习从零到一 03|算法地图:基于模型 vs 不基于模型
【上期回顾】上一篇讲了价值:状态价值 Vπ(s)V_\pi(s) Vπ(s) 是照策略 π\pi π 走的平均回报,动作价值 Qπ(s,a)Q_\pi(s,a) Qπ(s,a) 是先做动作 aa a、再照策略走的平均回报。贝尔曼方程说,这一格的价值可以从下一格的价值推出来;贝尔曼最优方程说,每格都挑最好的动作,就能得到最优策略:走廊里是一路向右, V∗=6.2, 8, 10V_*=6.2,\ 8,\ 10 V∗=6.2, 8, 10。
星马梦缘
8 天前
机械臂
·
强化学习
·
模仿学习
·
openarm
·
双臂协作
·
冗余臂
openarm 双臂协作模仿学习 · 入门路线
先完成 00_公共基础.md,再看本文件。 本组硬件:OpenArm 双臂平台(若实验室实际设备为 xArm / myCobot 等,路线同样适用,SDK 见资源清单)。
隔窗听雨眠
11 天前
大模型
·
强化学习
·
llm训练
大模型强化学习训练的工程实现与调优路径
语言模型的后训练阶段通常被切分成三个前后衔接的环节,分别是监督微调、偏好对齐和推理能力强化。监督微调解决的是输出格式与任务分布的问题,它让模型学会在给定指令下产出结构正确、语气得体的回答。偏好对齐解决的是人类偏好排序的问题,它让模型在多个都算正确的回答里倾向于更被接受的那一个。推理能力强化解决的则是另一个层面的问题,即在答案正确性可以被自动判定的任务上,让模型自己摸索出更长的思考链路、更稳的中间步骤和更高的首次命中率。
Jsundoku
11 天前
人工智能
·
强化学习
第十四章 深度学习 -- 基于模型的方法
环境模型(environment model) 是一个学习到的二元转移模型:P^(s′∣s,a)≈P(s′∣s,a),R^(s,a,s′)≈R(s,a,s′) \hat P(s' \mid s, a) \approx P(s' \mid s, a), \quad \hat R(s, a, s') \approx R(s, a, s') P^(s′∣s,a)≈P(s′∣s,a),R^(s,a,s′)≈R(s,a,s′)
草履虫AI课
13 天前
强化学习
强化学习从零到一 01|基本概念:从试错到马尔可夫决策过程
【写在前面】这个系列从零开始讲强化学习。每篇都先用漫画把意思讲明白,再给公式,最后代入数字手算一遍——公式一时看不懂没关系,跟着例题算一遍就懂了。
盼小辉丶
13 天前
pytorch
·
深度学习
·
强化学习
PyTorch强化学习实战——从零开始实现魔方求解器
我们已经探索了强化学习 (Reinforcement Learning, RL) 在离散优化(数学中研究离散结构优化问题的分支)领域的应用,并以著名的魔方谜题作为示范。在本节中,我们将详细介绍并复现 McAleer 等人在论文《Solving the Rubik’s cube without human knowledge》中提出的方法,同时探讨该方法的改进方向。
lucas_AI
16 天前
强化学习
预训练、SFT、RL 是同一个算法?CMU 把大模型训练流水线拧成了一个「数据旋钮」
TL;DR:CMU、JHU 和 Aurora Innovation 的这篇新论文说,大模型训练的四个阶段——预训练、midtraining、SFT、RL——在算法层面根本就是同一件事:把合适的 RL 目标改写成「对模型自己生成的成功答案做最大似然拟合」,所有阶段就共享一个损失函数,剩下的全部设计问题只剩三个:喂什么数据、按什么比例、什么时候喂。配套的统一训练系统已经开源,实验显示同算力下泛化和能力保留都更好。
猫先生Mr.Mao
17 天前
机器人
·
强化学习
·
具身智能
·
vla
·
世界模型
·
thinkworld
让动作先接受“未来检验”:ThinkWorld 如何用世界想象强化机器人推理
【从零走向AGI】旨在深入了解通用人工智能(AGI)的发展路径,从最基础的概念起,逐步构建完整的知识体系。 项目地址🔗:https://github.com/AI-mzq/From-Zero-to-AGI.git
Jsundoku
17 天前
人工智能
·
强化学习
·
多臂老虎机
·
朴素策略
·
置信上界算法
·
贝叶斯老虎机
·
上下文老虎机
第三章 强化学习 -- 多臂老虎机
多臂老虎机(Multi-Armed Bandit, MAB) 是强化学习最简单的设定:智能体每一步从 KKK 个动作(“摇臂”)中选一个,环境返回一个奖励;不存在状态转移,每一步独立。
ZhengEnCi
18 天前
llm
·
agent
·
强化学习
想让AI能力翻倍需要多少数据:874条专家轨迹的后训练杠杆效应
几百条就够,不是几百万条。 2026 年 1 月,美国 AI 独角兽 Mercor 拿出一套只有 874 条的专家训练数据,对开源大模型 GLM 4.6 做了一轮单 epoch 的长程强化学习(long-horizon RL),结果它在复杂专业 agent 任务上的 Pass@1 与 mean score 直接近翻倍,corporate law 的 Pass@1 更是翻了三倍。过去想让模型变聪明,预训练数据动辄以万亿 token 计;到了 agent 后训练阶段,几百条高质量轨迹就能换来性价比拉满的能力提
郝学胜-神的一滴
18 天前
大数据
·
人工智能
·
python
·
神经网络
·
算法
·
langchain
·
强化学习
AI 编程智能体 17:四步搞定专属AI智能体
还在觉得AI智能体开发高深莫测、门槛拉满?🤔很多新手入门大模型应用开发时,总被「智能体自主决策、工具调用、逻辑联动」这些名词劝退,觉得需要深厚的算法功底、复杂的代码架构才能实现一个可用的AI智能体。
zh路西法
20 天前
python
·
强化学习
·
pe
·
sac
·
pets
·
mbpo
·
mbrl
【模型式强化学习】(三):MBPO——短轨迹生成与模型数据驱动的策略优化
说人话:离策略就是"别人开车我记笔记",记下来的经验可以反复翻看;在策略(on-policy)则是"自己开、开完就忘"