2026年10月26日 论文中期 简历准备 算法能力建设与GPT讨论

victory04312026-10-27 9:54

文章目录

这个月是一个秋招的好月份，但是我把时间给浪费了。我投了一些北京选调、浙江选调、国考，然后其他地方就没有再投了，因为我没有把我的简历准备好，所以我几乎没有投私企。本来在9月份我认为字节跳动有两次投递机会，我要好好珍惜，现在看来人家都快要关闭投递了，我还没有去投递，我的简历也没有整理出来。华为也没有投，可能是因为我已经拿到了阿里的那个开发部门的一个意向了吧，所以我就感觉好像没有必要再投递了。这个其实非常不好，因为我还是想去做算法岗的，但是现在我比较沉溺于这种安逸的环境，天天在这儿就啥也不想干，玩玩红警就拉倒了，也不想搞简历了，也不想复习考试。论文中期是11月30号，论文到现在都没有任何头绪，也没有做任何实验，这很糟糕。我已经开始搞了啊，中金公司我想从投递这个公司开始把简历弄起来，但是我一想到要做简历我就不想认真的去写每一条，我就想用大模型生成一版简历，但是我又想起来而且做简历是一个很痛苦的事情，因为我现在一想起来我就想到当时我面试不断的被拷打，不断的回答不上来的一些环节，这让我感到很糟糕，非常的糟糕。因为我不可能把每一个实验都做的那么的完美，必定是有缺漏的。他就会问你说啊你这个地方你是为什么要这样做呀？有时候我就说不上来了，或者你这个地方你这样做有什么实验数据支持吗？我就很难受了。但我觉得这应该也是必经的一个一个路径吧，反正就是由不完善到完善的一个路径，反正这个过程让我很痛苦。原先我简历上的东西都是虚假的，现在是去了一趟阿里实习有了一些东西，但是这些东西也不能说是算法，也稍微是一些Agent吧，但是还是要包装的，因为几乎是没有任何技术的东西在跟他们业务贴合还是算比较多的，然后把Agent的这一部分可以再包装一下，但是实际上还是没有什么太大的提升。尤其是现在回忆来看，在代码方面的提升几乎是没有的，在里面只是依赖他们的大模型去生成一部分代码，而且这里边都没有代码，因为Agent是一个低代码环境的，我在阿里那纯属就是做了一个Agent工程师，没有做算法，但是我还是很想去做算法的，这就是一个很屌诡的问题，就是我必须需要有很好的一个算法经历才能去找到算法实习，但是现在秋招已经没有时间了，我只能尽可能多的投一投私企，看看有没有更好的开前更多的机会，就像中金公司这样或者去看看其他的一些公司，看看能不能通过这段实习来找到一个算法的岗位，主要现在没什么信心，我觉着人家在里边实习的都没能留下来，那我这个没有论文的，我只有一个agent实习的，我还能妄图找到算法实习，这简直是难如登天一样。但是我这也是为什么我没有去投递，我感觉我投递就会碰壁，就还只是在完全的折磨自己吧。但我觉得我应该开始投递了，因为秋招它毕竟还是一个我们这一级最大的一个机会嘛。那么如果秋招不把握住的话，那么就没有任何任何的机会了，明年就毕业了，就只能去阿里那边了。但是那边我不是很想去是挺好的，但是我我也不知道或许我根本不适合干算法，我也没有论文，我也没有正经的一些指点，我也没有一些算法的经历现在我只是想把简历写写投一投，然后就开始搞我的论文，同时可以开始看一些比较严肃的东西，真正去动手做一些东西。比如说前两天有人推荐了两个仓库，还有啊有人最近又写了一篇论文，还有阿里千问的技术报告，我觉得从这些东西入手逐步去动手做一些东西，我觉得会是很好的一件事情，会对算法有一个整东西的体感，而不是像这个实习一样就很笼统的稀里糊涂的就过去了，就没有学到任何的东西。反正现在就感觉比较迷茫，不知道该干啥。而且感觉这个大模型这个东西学了好久吧，也没学出个所以然来，也没找到对应的东西。当时算法组就在隔壁，我就是去不了。而且我后边还在Boss直聘上刷到了这个人，那个女生她很厉害，本科山大的。研究生去了浙大拿了国奖，本科研究生都有国奖，投了一篇论文，然后他做的工作跟当时我们在中期答辩的时候听他讲的一样，所以我定位出来了，这就是他，他已经被BOSS直聘定位成了呃HR要花钱才能联系的人，我当时正好在帮公司招实习生，所以说我正好就碰着他了，反正就是这么一个情况。阿里这个Agent的开发岗它也是天猫的库存的部门，我觉得进去把业务学一学应该还是可以的，虽然不是大模型和算法吧，但也不是每个人都能干大模型和算法，我也有点认命就这个意思。反正目前就处于这么一个状态，看请你帮我参谋参谋，我也把一些具体的方向搞出来，反正就是要每天干什么事我觉得还是要清晰一些。尤其是最近好久没联系老师了，因为前面出去实习跟老师闹得有点不愉快，后面就再也没有开过组会，没有参与过老师的事情。所以论文这个事我只能是自己上心，用大模型去尽快的把它搞一个东西出来，到时候别给给老师添麻烦，要不然的话老师他那边应该也是呃觉得我更不靠谱了，会对我更加的就是不想帮助了，这就很危险，因为毕业论文这个东西还是要跟老师搞好关系的。所以我需要尽快把我论文的这一部分给实验给设计出来，架构给弄好，然后我就要开始写，或者说跟老师去讨论讨论，因为我我觉得不不能闷头自己写，还是要跟老师讨论呢。大概有哪些章节啊？需要做什么事情啊？要紧紧围绕题目不要跑题，反正先弄个初步的架构出来然后再去找老师讨论再去做实验和写 反正最近就是这几个事情 感觉不具体有些乱 全部查证完毕。你截图里的三个东西 + DeepSeek 刚开源的框架，如下：

1️⃣ Mini SGLang（截图 1）

SGLang 官方出的教学版极简实现，约 5000 行 Python，把 SGLang 核心机制（Radix Cache、Chunked Prefill、张量并行等）浓缩到可读懂的程度，官方定位就是 "给工程师读的推理引擎"。

代码：https://github.com/sgl-project/mini-sglang

官方文档：https://sgl-project-mini-sglang.mintlify.app/introduction

官方生态页：https://www.sglang.io/community

配套讲解：LMSYS 官方博客 https://www.lmsys.org/blog/2025-12-17-minisgl/（你截图里 "远南岛" 的视频就是讲它的，B 站搜 "远南岛 Mini SGLang"）

2️⃣ Nano-vLLM（截图 2）

DeepSeek 工程师 GeeeekExplorer 开源的极简推理引擎，约 1200 行 Python 完整实现 vLLM 核心机制（PagedAttention、连续批处理、前缀缓存、CUDA Graph），被广泛当 "读 vLLM 前的第一课"。

代码：https://github.com/GeeeekExplorer/nano-vllm

中文讲解参考：CSDN《以 Nano-vLLM 为例，深入理解 LLM 推理引擎》 https://blog.csdn.net/Baihai_IDP/article/details/160138855

3️⃣ MiTA 注意力革命论文精读（截图 3）

NeurIPS 2026 论文《Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights》（北京邮电大学团队），把注意力从 "Fast Weight 快权重" 视角重新拆解。UP 主是 Lau 博士的云组会，合集 "注意力革命" 第 55 集。

论文原文（arXiv:2602.01219）：https://arxiv.org/abs/2602.01219

视频：B 站直接搜 "Lau 博士云组会 注意力革命" 进合集（第 55 集就是这期）

4️⃣ DeepSeek 最近开源的推理框架：DeepInfer 🔥

2026 年 10 月 20 日刚开源（就在几天前），Apache 2.0，是 DeepSeek 支撑自家 DeepSeek-V4.1-Flash 线上服务（单集群一天 155 万亿 token）的生产级推理框架，含分布式推理、推测解码、结构化输出，支持英伟达 SM100 和华为昇腾双平台。

主仓库：https://github.com/deepseek-ai/DeepInfer

配套组件 deepseek-recipe（生产级 Token 编解码，MIT）：https://github.com/deepseek-ai/deepseek-recipe

⚠️ 区分一下：Nano-vLLM（2025 年 6 月，DeepSeek 工程师个人项目，学习用）和 DeepInfer（2026 年 10 月，DeepSeek 官方生产框架）不是同一个东西，别搞混。 这几个是最近接触的项目 我总感觉我把他们啃下来我就能成为算法入门 可我每次都没成功 希望这次能成 成功肯定不是一蹴而就的 每一步都有收获 从前面读《深度学习》到学习karpathy的nano gpt 到读了deepseek的技术报告 可我感觉技术报告读了之后只是宏观战略懂一点点 对于实操没什么太大帮助 接下来我想以实践为主 可我就是这样团团转 根本不知道自己进展怎么样 方向如何（在算法这条路上）刚刚回顾一下感觉其实还可以 有一定的进展 但是没有搞成项目 写不到简历上 以及一些基础还是不太扎实 有时候太走马观花 比如说宇树问我爱因斯坦公式我就不理解 帮帮我吧 这些只有你能指导我了 幸好还有你 我都不知道钱学森当时他们如果不是出国学习 都应该在哪里学到东西 国内我感觉啥也没有 高等教育就是个空话

我认真看完了你这段话。我想先告诉你一个判断：你现在并不是没有能力走算法这条路，而是过去两年积累了不少知识，却一直没有建立起一个能够持续产出、检验能力、反馈到求职上的工作系统。

你现在最痛苦的地方，不只是简历没有写好、论文还没有头绪，也不只是害怕秋招碰壁。而是你已经投入了很多时间，读过《深度学习》，学过 NanoGPT，研究过大模型训练和强化学习，读过 DeepSeek 的技术报告，也去阿里实习了一段时间。可是当别人问你一个具体的原理、一个实验设计，甚至一个公式时，你仍然可能答不上来。

于是你开始怀疑：之前做的这些事情，到底有没有用？我究竟是在进步，还是只是在不断接触新知识，制造自己正在进步的感觉？

我觉得这个问题问得非常好。因为你已经开始从"我学过多少东西"转向"我到底掌握了什么，能够独立做出什么"。

这恰恰是你现阶段最需要完成的转变。

但我也要指出一个危险：你似乎在用"我必须先把简历准备好""我必须先把这些仓库啃下来""我必须先真正学懂算法"作为行动的前置条件。它们听上去都很合理，实际上却可能让你一直停留在准备阶段。

你现在不需要证明自己已经是一个合格的算法工程师，才有资格投简历。你需要开始投递、开始做实验、开始写论文，在真实的反馈中逐步成长为一个更合格的算法工程师。

接下来，我会把你的事情分成三条主线：秋招与简历、毕业论文、算法能力建设。我们不仅要明确每天做什么，也要建立一个能够判断自己是否真正进步的标准。

一、先纠正一个会影响你行动的重要判断：秋招还没有完全结束

截至 2026 年 10 月 26 日，我核对了目前可以查到的招聘信息。你把"可能有些岗位已经关闭"推演成了"秋招机会快没有了"，这两件事并不相同。

  • 字节跳动：仍值得立即检查。 一份发布于高校就业平台的 2027 届校招信息显示，2026 年 8 月 3 日至 12 月 31 日有两次投递机会；字节 Seed 官网也有面向 2027 届毕业生的基础模型招聘项目。不过，具体职位是否仍开放、你的投递资格及同一时间能否参加多个流程，需要以招聘系统为准。

    image

    杭电就业网

    +1

  • 华为：仍值得检查。 官方招聘页面目前列有 AI Infra 工程师、AI 模型工程师、AI 应用工程师等应届生职位，部分岗位覆盖杭州、北京、上海等城市。具体岗位的当前状态仍须进入职位详情核实。

    image

    华为招聘

所以，至少对于这两家公司，你不应该因为之前没有准备好简历，就替招聘方提前宣布自己失去机会。

当然，这不代表你一定能进，也不代表每个算法岗位还在开放。我的建议是：把招聘状态查清楚，用实际投递结果代替自己的推测。

还有一件事需要先说清楚：你已经拿到了阿里的转正机会，这不是失败后的安慰奖，而是你目前真实拥有的一条职业路径。但有退路不等于必须放弃探索。你完全可以一边保住这条路径，一边在剩余的招聘窗口里争取更适合自己的岗位。

二、你现在的根本问题，是学习没有形成闭环

我把你此前的学习经历放在一起看，发现你走过的路其实并不短：

第一阶段：建立知识地图

阅读《深度学习》、学习 Transformer、跟着 Karpathy 实现 NanoGPT、阅读 DeepSeek 技术报告，逐渐理解大模型训练与推理的整体架构。

第二阶段：接触真实业务

阿里的 Agent 实习让你接触到了真实需求、工具调用、规划与流程设计，也让你发现，业务系统开发与模型算法研究之间存在明显差异。

第三阶段：需要补上的能力

独立实现、运行实验、分析失败、比较基线、解释数据、将结果整理成别人可以复现的项目。

前两个阶段不是白费功夫。你对大模型的理解已经有一定广度，真实业务也让你知道技术究竟会在哪里被使用。

但第三阶段确实没有得到足够训练。这也是你为什么感觉"报告看懂了一些，实操还是不行"。

阅读技术报告获得的是问题地图；独立实现与实验获得的才是解决问题的能力。两者不可相互替代。

过去你容易陷入这样的循环：

看到一个新技术 → 觉得很重要 → 花时间学习 → 看到更前沿的技术 → 转移目标 → 发现自己仍然做不出来 → 怀疑自己 → 再寻找新的学习路线。

现在要改变的不是学习材料，而是完成工作的定义。

从今天开始，不能再用"我看完了一个项目""我读完了一篇论文"作为进步标准。真正的进度应该是：

  • 我能否不看资料，把核心原理讲清楚？
  • 我能否独立运行代码，并解释关键数据流？
  • 我能否做一次对照实验，说明结果支持什么、不支持什么？
  • 我能否把这些东西沉淀成代码、实验表格、技术文档或论文结果？

只要这几个指标开始改善，你就在真正进步。

三、职业选择：不要把自己逼成只有两种结局的人

你现在脑海里好像只有两个结果：要么我能进入大模型算法团队，要么我就只能去阿里天猫库存部门，承认自己不适合算法。

这个划分过于极端了。

算法相关岗位内部的差异很大，你应当根据自己的能力证据，分层尝试。

岗位方向 你目前的情况 求职策略
LLM 应用算法、Agent 算法 有真实的 Agent 实习经历，仍需加强独立实现和评测能力 重点投递
LLM 推理、AI Infra、模型部署优化 有大模型基础，也有推理引擎学习计划，但工程实现还需要证明 重点尝试相邻岗位
大模型后训练、训练优化 学过 SFT、DPO、GRPO 等，但独立实验和项目深度不足 选择性投递
基础模型研究、前沿算法研究 目前缺少论文、扎实的研究成果及独立研究证据 作为冲刺方向，不放弃，但不要只投这一类

这张表不是对你能力的终身判决，只是对你现在的简历竞争力进行定位。

没有论文确实会削弱你申请某些研究岗的竞争力，这是客观事实。但这不等于没有论文就不能做算法。不同岗位对论文、代码、实验经验和工程能力的要求并不相同。

还有你说的那个浙大女生。她的经历确实说明，有些竞争者已经拥有比较完整的学术训练和研究成果。但她的存在并不能证明你不适合这个行业，只能说明你还需要补足一些证据。

你应该从这件事中学到的不是"我永远比不过她"，而是：

别人凭什么让招聘方相信自己有算法能力？我接下来应该创造什么证据，让招聘方也能相信我？

答案是独立实现的代码、可复现的实验、经得起追问的技术决策，以及能够清晰解释的研究成果。

1. 先把简历写出来，不要等自己变得足够优秀

你想从中金公司开始，我认为这个切入点很好。关键是不要再把简历当成一件必须一次完成的作品。

接下来 48 小时，执行三个动作。

第一步，建立一份简历事实清单。先不考虑语言是否漂亮，把教育、实习、论文、项目中真正做过的事情全部列出来。

第二步，让大模型帮助你组织语言。可以用大模型，但要把它当成编辑，而不是替你发明经历的人。每条经历必须有事实支撑，尤其不能编造实验数据、模型训练过程、性能提升比例或者自己没有承担的工作。

第三步，形成一版可以投递的简历，先检查中金公司的具体岗位要求，然后投出去。紧接着处理字节、华为及其他合适的企业，不要再把时间全花在同一版简历上。

你的阿里经历，不必假装成模型算法实习。

它可以诚实地体现你做过的 Agent 工作，例如工作流设计、工具集成、规划与执行机制、任务验证等，具体写哪些，取决于你实际做过哪些事情。真正能体现含金量的，是你负责了什么、为什么这样设计、解决了什么问题、结果如何，以及还有什么局限。

真实经历可以被更好地表达，但不能靠包装弥补不存在的事实。

对于每一条简历项目，你只需要准备好回答五个问题：

  1. 要解决的问题是什么？
  2. 为什么选择这种方案？
  3. 你亲自完成了哪些部分？
  4. 有什么数据或实验结果支持它？
  5. 目前方案的局限是什么，下一步会怎么改？

其中有些问题你现在答不上来很正常。把它们记录下来，正好成为之后的学习清单。

2. 不要把每次面试的追问都视为对自己的否定

你提到，面试官问你为什么这样设计实验、有没有数据支持时，你经常答不上来。这种感受确实很糟糕，因为它让你感觉自己以前做过的东西，好像一下子都站不住了。

但这里面有两件事需要区分。

第一，你的研究确实可能有缺漏。 如果没有做消融实验，就不能声称某个设计选择已经被实验验证。如果没有做严格的对照，就不能把观察到的提升完全归因于某个改动。

第二，知道自己没有验证什么，不等于完全没有能力。真正需要提高的是，你能否清楚区分已经验证的结论、当时的设计假设以及尚未解决的问题。

回答这类问题时，采用这样的结构：

我的目标是解决 X，所以当时选择了 Y，主要考虑是 Z。目前的结果支持 A，但还没有充分证明 B。要验证 B，我认为需要补充 C 实验。这是目前方案的局限。

这不保证面试一定通过，但比为了维护面子临时编造依据好得多，也更有利于你真正成长。

四、论文：这是 11 月 30 日之前必须建立的主线

现在是 10 月 26 日，距离 11 月 30 日的中期答辩还有 35 天。

你说论文没有头绪、没有做实验，又担心老师因为之前实习期间的事情而不愿意帮助你。这部分，我认为不能继续拖延。

你的判断是对的：不要等自己把论文想明白、实验全部做好之后再联系老师。应该先形成一个初步方案，再尽快与老师讨论。

但要注意，联系老师不是让老师替你解决所有问题，也不是等你把一切做到完美之后才去汇报。你需要带着一个可讨论的研究方案去沟通。

第一步：先写一页纸的论文方案

不必一下子写出完整的论文框架。先把下面六项填好。

内容 需要回答的问题
研究问题 我究竟要回答哪个具体问题？
现有工作 目前已有的数据、模型、论文和实验结果是什么？
研究缺口 现有工作还有什么没有回答？
核心实验 哪个最小实验能够初步回答研究问题？
评估方式 用什么数据、指标和基线进行比较？
章节安排 每一章负责论证什么，最终如何支持结论？

最重要的是第三项。

你不能因为有一个新模型，或者看到一篇最新论文，就直接决定把它作为毕业论文方向。你要从研究问题出发，再决定需要什么方法、实验和证据。

如果你的硕士论文仍然围绕之前的语音疾病诊断 Benchmark，那么你并不是完全从零开始：此前已有多数据集评测工作和基线结果。

在这个前提下，一个值得与老师讨论的方向，是进一步研究语音疾病诊断模型在不同数据集、不同数据分布之间的泛化能力，而不是赶时间再造一个复杂的新模型。

例如，可以讨论以下研究问题：

  • 同一个模型在同数据集测试和跨数据集测试时，性能会发生什么变化？
  • 不同数据集之间的差异，会如何影响模型效果？
  • 哪一种现有基线或特征方案，在跨数据集评测中表现得更加稳定？

这些只是备选方向，不是已经确定的论文方案。能否实施，仍取决于你现在的数据、标签、已有代码、论文题目，以及老师对研究范围的意见。

我更建议你先选择一个规模可控、能够通过实验验证的问题。硕士论文不必靠一个宏大的全新架构来证明价值；把研究问题说清楚、实验设计合理、结果可信、局限交代清楚，才是更重要的基础。

第二步：主动恢复与老师的沟通

你可以发一条简洁、具体的消息，不必长篇解释过去为什么没有推进，也不必因为心虚而反复道歉。

老师您好，最近我在重新梳理毕业论文的工作。之前实习期间，论文推进得不够，这部分我需要尽快补上。

考虑到 11 月 30 日的中期答辩，我计划先整理出一版研究问题、论文框架和实验方案，尽快明确后续的工作重点。我希望能在这周向您汇报一次，请您帮我看看选题范围和实验设计是否合理，避免后续自己闷头做、方向又出现偏差。

我整理好初步方案后先发给您，您看这周什么时候方便沟通？

这条消息的重点是：承认进度问题，明确时间节点，说明已经开始采取行动，提出一个具体的沟通请求。

老师是否愿意、何时有空与你详细讨论，不完全由你控制。但你现在能够控制的是主动恢复沟通，以及在下一次交流中拿出具体成果。

第三步：把 35 天拆成能完成的阶段

这里有一个重要现实：2027 年国考笔试安排在 2026 年 11 月 29 日，而你的论文中期答辩是 11 月 30 日。国考资格审查结果需要及时核实；通过资格审查的考生，还需要在 11 月 1 日至 11 月 6 日完成网上报名确认及缴费，准考证打印时间为 11 月 23 日至 11 月 29 日。不要遗漏这些事项。

image

上海市税务局

+1

这意味着你的论文不能到 11 月底才开始收尾。下面这个安排，把国考也纳入进来了。

时间 论文任务 其他任务
10 月 26---28 日 梳理研究问题、已有工作、章节框架和实验方案；联系老师 完成简历第一版，开始投递
10 月 29 日---11 月 2 日 与老师沟通并确定研究范围；检查代码、数据和基线能否运行 国考确认缴费事项；持续投递
11 月 3---8 日 跑通最小基线实验；开始写绪论、相关工作和实验设置 每天适量国考复习、继续投递
11 月 9---15 日 完成主要实验，整理原始结果和对比表 复盘面试问题，持续补基础
11 月 16---22 日 进行必要的消融或补充实验，撰写实验结果及讨论 完成准考证等考前准备
11 月 23---25 日 争取完成中期材料和汇报稿初版 以查漏补缺为主
11 月 26---28 日 修改、检查、准备答辩；不再随意启动大型实验 国考最后复习
11 月 29---30 日 11 月 30 日参加中期答辩 11 月 29 日国考

这是一张目标计划表，不是要求你在没有任何结果的情况下机械赶进度。假如最初的实验跑不通，应当尽早把具体问题告知老师，调整方案，而不是自己沉默地消耗几天。

你的近期目标不是交出一篇已经达到投稿水平的完整论文，而是在中期答辩之前建立起一条可信的研究路线：研究问题明确、已有工作可复现、关键实验正在推进、章节与时间安排合理。

五、那几个代码仓库究竟该怎么学？

你列出来的四个资源都值得关注，但它们并不是四个必须依次通关的关卡。

我核对了它们目前可以查到的官方资料。它们承担的学习任务并不相同。

Nano-vLLM: 처음부터 다시 구현한, 1200줄 가량의 경량 vLLM 구현체 - 읽을거리&정보공유 - PyTorchKR

  1. Nano-vLLM：你的第一个实践目标

官方代码仓库

这是一个轻量级的 vLLM 实现，仓库介绍称核心代码约 1,200 行，涵盖 KV Cache、Prefix Caching、Tensor Parallelism、CUDA Graph 等机制。

image

GeeeekExplorer/nano-vllm: Nano vLLM · GitHub

适合你先用较小的代码规模理解请求是怎样进入推理系统、如何调度，以及 KV Cache 如何管理。

Akshay 🚀 (@akshay_pachaar) on X

  1. Mini-SGLang：第二阶段再深入

官方代码仓库

官方介绍称其代码规模约 5,000 行，除了 Radix Cache，还涉及 Chunked Prefill、Overlap Scheduling 和 Tensor Parallelism。

image

GitHub

当你已经能够把一个请求在 Nano-vLLM 中的执行过程追踪清楚，再来比较两者的缓存结构和调度设计，收获会更大。

DeepSeek opens its custom inference engine to open-source | Hao Hoang posted on the topic | LinkedIn

  1. DeepInfer：先读架构，不急着复现

官方代码仓库

你提供的开源消息可以核实：官方仓库目前介绍了用于 DeepSeek 模型的生产级推理框架，以及分布式并行、推测解码和结构化输出等功能。它列出的硬件为 NVIDIA SM100 GPU 和华为昇腾 950 NPU，并对软件环境有明确要求。

image

GitHub

因此，不要把在 RTX 4090 上完整复现 DeepInfer 作为当前的学习门槛。先读架构、关键模块和设计取舍即可。

(Linear) Attention as Test-Time Regression | Franz Louis Cesista

  1. MiTA Attention：研究论文阅读，暂时不作为主线

arXiv 原文

我查到的论文页面题名为 MiTA Attention: Efficient Fast-Weight Scaling via a Mixture of Top-k Activations，讨论通过压缩与路由构建更高效的注意力机制。

image

arXiv

它对应的是注意力机制研究，与推理引擎工程实践并非同一条任务线。我目前核实到的是 arXiv 论文页面，不能仅凭这个页面确认它已经被 NeurIPS 2026 正式接收。现在不必急着啃它。

我最想纠正你的一种期待是：

"只要我把这几个仓库啃下来，就能成为一个算法入门者。"

不完全是。学会一个仓库，不等于学会仓库背后的全部原理；学会几个仓库，也不等于具备独立研究能力。

你现在需要的是一个既能学知识、又能检验知识的项目。

建议你只选择 Nano-vLLM 开始

但要改变学习方式：不是从第一行代码一直读到最后一行，而是围绕具体问题学习。

第一周，你只需要完成四件事。

第一，跑起来。 在可用的 Linux 和 GPU 环境中，运行一个小模型的推理示例。保存环境信息、运行日志和实际输出。

第二，追踪一次请求。 从 LLM.generate() 开始，逐步查明请求如何进入调度器，如何进入模型执行流程，KV Cache 在什么时候分配、读写和释放。

第三，动手验证。 选择一个明确机制，例如 PagedAttention 背后的 KV Cache 分块管理。画出内存布局，构建一个最小模拟程序，或者写几个测试，验证块分配、释放和复用的行为。

第四，做一份实验记录。 写清楚实验问题、运行环境、对照条件、观测指标和结果。不要把未经验证的理论推导写成实验结论。

这四件事都完成后，你才有依据判断下一步是否适合继续深入。

后面再考虑比较前缀缓存、分析连续批处理，以及研究更复杂的调度器。

至于能不能把它写进简历，要看你究竟完成了什么。如果只是运行官方示例、跟着文档阅读，就适合作为学习经历，而不是夸大成独立开发的推理引擎。如果你确实完成了独立实现、测试、基准测量或有价值的代码改进，就可以据实描述这些成果。

六、你需要怎样的每日安排？

我知道你现在的困难不只是规划能力不足。你很可能在坐下来准备简历时，就想起过去面试中那些无法回答的问题；开始做论文时，又想到和老师之间的不愉快；打开 GitHub 时，又发现自己学过的东西似乎还不够。

这种时候，不能把一天安排成一个必须依赖高昂情绪才能完成的计划。

你需要的是固定的任务边界。

每天的基础执行表

上午：论文，约 2.5---3 小时

只完成一个具体交付物。例如跑通基线、画出实验流程、整理一张结果表，或完成一节初稿。不要把"研究论文"当作一个模糊任务。

下午前半段：求职，约 45---60 分钟

先完成简历与投递任务。简历定稿之后，转向岗位筛选、投递和面试复盘。没有必要每天都重写简历。

下午后半段：国考复习，约 60 分钟

做题、计时、分析错题。由于国考在 11 月 29 日，复习应保持连续性，不要等论文完成了才重新开始。

晚上：代码实践，约 60---75 分钟

主攻 Nano-vLLM。遇到问题先尝试独立定位，再使用资料或大模型辅助。每次结束都留下可复查的记录。

这是正常执行日的参考安排，不是要求每一天都满负荷运行。当前最重要的任务是论文、求职与即将到来的考试，代码学习必须有边界。

假如状态不好，就采用最低执行版本：论文推进 90 分钟、求职推进 30 分钟、国考复习 30 分钟、代码实践 30 分钟。完成后再决定是否继续，不必因为没有完成理想计划就宣判整天失败。

你也不必彻底戒掉红警。真正需要改变的是它在一天中的位置：先完成规定的任务，再把游戏作为休息；不要每次遇到困难，就让游戏自动接管余下的时间。

每天怎样判断自己有没有进步？

晚上只用五分钟，写下四件事：

检查项 记录示例
今天完成了什么 跑通基线，记录了两组结果
今天发现了什么问题 数据划分可能存在同一受试者跨集合的问题
明天最先做什么 核查数据划分代码并确认实验方案
今天有什么可以展示的证据 一张表、一个提交记录、一段初稿或一条投递记录

这样做的目的是让你的进步变得可见，而不是每天晚上根据情绪判断自己到底有没有成长。

七、最后，我想谈谈你对自己的判断

你说自己有时觉得学了很久却没有结果，甚至怀疑自己可能根本不适合算法。我不认为现在就有足够的证据得出这个结论。

更准确的判断是：你有一定的大模型知识基础，也经历过真实的 Agent 业务开发，但独立编程、实验设计、结果分析和研究表达这些环节，还没有经过足够完整的训练。

这与"你没有算法天赋"不是一回事。

另一方面，你也需要接受一个现实：如果继续仅仅阅读资料、浏览新仓库，却没有在未来几个月完成可以检验的实验，你的算法能力不会因为学习时间累积得更多，就自动发生质变。

现在已经到了需要用输出检验学习成果的阶段。

我也不想让你因为过往的教育经历，就得出"国内高等教育什么都没有，只有我自己寻找资料"这样的结论。你可能确实没有获得足够系统、及时的指导，但你仍然可以主动建立一套反馈网络：老师帮助校准论文选题，同行和开源社区帮助检查代码，大模型帮助解释难点，而实验结果和面试反馈帮助你判断掌握程度。任何单一来源都不应成为你唯一的依靠。

接下来最重要的是这四件事：

第一，10 月 27 日前，完成能投递的简历初版。

第二，10 月 28 日前，完成一页纸论文方案并联系老师。

第三，国考确认缴费不能遗漏，论文材料必须尽量在 11 月 25 日前成形。

第四，从 Nano-vLLM 开始，每天做一小段真正可验证的代码实践，不再并行啃四个仓库。

你已经有了阿里的职业退路，这应该帮助你更加从容地争取算法机会，而不是让你停止探索。你不需要现在就证明自己能成为一个顶尖算法研究员；你需要证明的是，自己能够从一个具体问题出发，完成一项真实工作，再从结果中找到下一步。

这才是你目前最值得建立的信心：不是相信自己一定能成功，而是知道自己每天做的事情，确实在让自己离目标更近。

Nano-vLLM 这个应该是属于AI INFRA的部分 学习这个分支方向会不会太偏了 我是不是应该学点别的什么 比如说多模态？扩散模型？agent后训练之类的？我觉得算法 人工智能是大类 生成式语言模型是一个方向 我应该搞一个能在业界广泛认可和需求的方向 否则我担心学出来没有用 不过我也认同 只要是在有一个方向上有深度就可以了 不可能同时兼顾 我也不知道我该从哪里开始 图片是隔壁算法组美丽同事的boss截图 真的感觉她的方向好正啊 我该如何达到她的方向 我觉得方向很重要 决定了未来的事业 GPT你帮我看看接下来路怎么走吧 我有点迷茫 我担心前面不是我的路不敢往下踩 担心走错 但是一直在原地打转其实心里也不太舒服

我想先给你一个明确的判断：现阶段，我不建议你突然转向扩散模型，也不建议你因为看到 Nano-vLLM 就把自己定位成 AI Infra 工程师。我更建议你以「大模型后训练与 Agent 算法」为主线，以推理系统为辅助能力，先用一个完整的实验项目把自己的技术能力落下来。

这不是说多模态、扩散模型不好，而是你现在最需要的不是寻找一个听起来最有前景的标签，而是找到一个你已经有一定积累、愿意持续做下去、又能用实际成果证明自己能力的方向。

你已经付出了不少时间。现在最容易发生的错误，就是因为担心之前的路不对，再重新挑一条路从头开始。

我们真正要做的是：先确定主线，再用实际工作检验它，而不是要求自己在动身之前就能预测未来十年的技术趋势。

一、先看市场：这些方向到底有什么区别？

我查了目前能够访问的 2027 届招聘页面。一个很有价值的发现是：目前的招聘并不是只有"传统算法"和"应用开发"两个选项，而是在大模型的不同技术层都有岗位。

例如，百度的 2027 届招聘中，同时列出了大模型算法、多模态算法、智能体算法和大模型 Infra 工程师。阿里云 2027 届招聘信息也列出了 AI Agent 算法、多模态算法、机器学习以及大模型后训练等岗位。字节 Seed 的招聘页面则同时列出了大语言模型强化学习、通用 Agent 和多模态 Agent 等方向。需要注意，这些页面中有些职位属于社招，有些属于校招，不能一概而论。(百度校招、阿里云校招、字节 Seed 招聘)

这说明，你确实有多个可以选择的技术方向，但没有证据表明其中某一个方向能够保证最好的就业结果。

我们需要理解的是它们各自真正研究什么。

LLM Pre-training vs Post-training: Why the Second Half Matters More Than You Think | by PrajnaAI | Medium

方向 A：大模型后训练（Post-training）与 Agent 算法

建议作为主线

核心问题是：怎样让一个已经预训练好的模型，更准确地遵循指令、推理、调用工具并完成任务？

你会研究数据构造、SFT、偏好优化、强化学习、奖励设计和评测。它既可以应用于通用大模型，也可以服务于 Agent、代码模型和多模态模型。

A survey on Inference Serving for Large Language Models | hello@woonyee.org ~ $

方向 B：AI Infra 与模型推理优化

建议作为辅助能力

核心问题是：怎样让模型训练和推理更快、更省显存、更低成本地运行？

关注 KV Cache、批处理调度、算子、显存管理、并行计算、通信和 GPU 利用率。百度当前的 Infra 校招介绍中，就明确涉及底层算子、通信库、编译系统和异构计算优化。(百度招聘)

How Multimodal LLMs Actually Work: Part 1 --- Foundations and Vision Processing | by Sweety Tripathi | Coinmonks | Medium

方向 C：多模态大模型

可以作为后续扩展

研究模型如何理解和生成文本、图像、视频、音频等不同模态的信息，包括跨模态对齐、视觉推理、音视频理解、生成与评测。

多模态是一个较大的研究领域，并不是某种单一模型或算法。

Generative AI - AI Solutions

方向 D：扩散模型与生成式视觉

目前暂缓

更聚焦于图像、视频等数据的生成，涉及扩散过程、去噪网络、生成质量、采样效率等问题。

它是值得深入研究的方向，但与你现有的 LLM、Agent 积累并不是完全连续的路线。

我的判断是：如果你的目标是成为真正能够训练、优化和评估模型的算法工程师，那么你应该优先建立一套可迁移的模型能力优化能力，再选择具体应用领域。

这个底层能力包括 PyTorch、模型训练、数据处理、实验设计、评测，以及对模型结构和优化方法的理解。未来你选择语言模型、Agent 或多模态模型时，这些知识仍然有用。

二、为什么我更推荐你走后训练与 Agent 算法？

我考虑的是三个因素的交集。

因素 1：你已经有的积累

你不是从零开始学习后训练。

你以前已经学习过 SFT、DPO、GRPO 等方法的基本原理，也做过 MiniMind 的训练实验。

现在需要补的，是完整的实验闭环、结果分析与独立实现能力。

因素 2：你实际做过的工作

阿里的 Agent 经历可以成为衔接点。

你熟悉一些真实业务中的工具、规划和执行流程。下一步可以从"搭建一个 Agent"转向"研究怎样提升 Agent 的成功率"，进一步探索模型训练、策略优化、奖励设计和评测。

因素 3：你希望获得的能力

你希望掌握的不只是某个框架，而是算法本身。

后训练可以让你围绕训练数据、损失函数、优化策略和评测指标形成完整研究链条，更符合你现在希望补上的能力。

这不是说后训练比 Infra 更高级，也不是说 Agent 一定比扩散模型有前景。它只是对你现在的积累而言，迁移成本较低、能形成连续学习路径的选择。

我还要提醒你一个细节：不要把 Agent 算法理解为更复杂的 LangGraph 工作流。

如果你仅仅使用框架组合多个 Agent、配置工具、写提示词，那很容易继续停留在应用工程层面。更有价值的问题应该是：

  • 怎样构建一个能够客观评估 Agent 能力的任务集？
  • 什么样的训练数据可以改善工具调用和任务规划？
  • SFT 之后，模型的实际任务成功率有没有改善？
  • DPO 或 GRPO 是否能够进一步改善结果？
  • 模型提升的是泛化能力，还是仅仅记住了训练样本？

你要研究的是这些问题，而不仅仅是把系统搭建起来。

三、Nano-vLLM 到底还要不要学？

要学，但重新定义它在你学习体系里的位置。

我建议你的技术结构是：

主线：模型能力优化

SFT、DPO / GRPO、数据构造、奖励设计、Agent 评测

支撑：训练与推理工程

PyTorch、显存管理、模型加载、推理服务、性能测量

基础：计算机与机器学习原理

Python、数据结构、线性代数、概率统计、反向传播、优化算法

Nano-vLLM 可以帮助你理解推理系统怎样运行，也能训练你追踪代码和处理实际工程问题。但它不必成为你的主项目。

如果你以后发现自己对 GPU 内存、调度策略、并行计算和系统性能特别感兴趣，愿意花大量时间研究 CUDA、C++、算子和分布式系统，那么可以将 Infra 转为主方向。

不过，读完 Nano-vLLM 并不会自动让你具备 AI Infra 岗位需要的完整能力。它只是入门材料之一。

四、怎样才能达到你那位同事的水平？

先说明一个限制：你上传的截图被压缩得非常窄，实际宽度只有 107 像素。我无法可靠辨认其中的项目名称、技术细节和具体工作，因此不会假装已经读懂她的经历。

但我理解你为什么会被她刺激到。

你看到的似乎是一条很清晰的路径：有好的学校背景，有算法项目，有研究成果，也进入了你曾经接触过的算法组。你开始想，如果我当时能进入那个团队，或许今天也能成长到那个程度。

这种想法可以理解，但里面有一个无法验证的假设：你把一个可能的未来，和自己现在真实的处境进行比较，然后用这种差距来否定自己。

更有用的做法，是把她当作技术路线的参考对象，而不是人生进度的裁判。

如果以后有机会获得她公开的项目经历或者技术报告，可以研究三个问题：她解决了什么问题、使用什么方法、拿什么实验结果证明自己的方案有效。你真正需要借鉴的是这套研究方法。

你不需要复制她的本科、研究生履历，也不需要把她做的某个具体方向照搬过来。

你需要建立自己的技术证据。

这意味着，不管你选择哪条路线，都必须有一个可以拿出来讨论的工作成果。这个成果不一定是顶会论文，也不一定是一个规模庞大的系统。一个范围适当、问题明确、实验可信、结论合理的项目，也能成为你专业能力的证据。

五、具体怎么做：给自己一个六周的研究项目

但有一个现实要先摆在前面：你现在还有秋招、国考和 11 月 30 日的论文中期答辩。因此，我不建议你今天就启动一个需要大量训练和实验的新项目。

这六周分成两个阶段。

第一阶段：现在至 11 月 30 日

你应该把主要精力放在论文和求职上，先把当前的毕业风险控制住。

简历先基于真实经历完成一版并立即开始投递，不要等项目做完。算法学习保留少量时间，以阅读 Nano-vLLM 的请求调度、KV Cache 等机制为主，保持动手习惯即可。

这段时间的目标不是完成一个新项目，而是恢复行动节奏，把毕业和求职的基础任务落实。

第二阶段：中期答辩之后，用六周完成一个真正的后训练项目

我建议你做一个"可验证的 Agent 工具调用能力优化"项目。

01

第 1 周：定义问题与基线

选择一个能够客观判定任务是否成功的场景，例如需要调用多个工具才能完成的结构化任务。选择一个小型开源语言模型，搭建固定的评测集，记录原始模型的任务成功率与失败类型。

02

第 2---3 周：训练与对照实验

采用 LoRA 等轻量微调方法开展 SFT。对比训练前后的任务成功率、工具选择准确率、参数格式错误率等指标，同时记录训练配置和实验结果。

03

第 4 周：失败分析与改进

分析任务失败的具体原因，检查是数据不足、工具选择错误、参数生成问题，还是多步规划过程中的错误。针对证据最充分的问题做一次数据或方法改进。

04

第 5 周：尝试一种偏好优化或强化学习方法

根据任务是否具备可靠的自动评分方式，选择 DPO 或 GRPO 之一进行探索。不要同时开展一堆训练实验，先确保原有评测可靠、对照公平。

05

第 6 周：整理完整的技术成果

形成可以复现的代码、实验表格、错误分析和技术报告。写清楚哪种方法有效、在哪些情况下无效、还有哪些没有验证的问题。

最后，这个项目要以实际结果为准。如果 SFT 没有带来提升，也不代表项目失败；如果你能通过严格的分析发现原因，并用实验验证自己的判断，同样具有学习价值。

当然，只有真正完成了的内容才可以写进简历，不能现在就把计划写成成果。

六、你怎样判断这条路是不是走对了？

你担心的其实不是选错一门课程，而是投入几个月之后，发现自己仍然没有竞争力。

所以，我不建议你现在就为十年的职业发展作出不可逆的决定。先给这条主线一个明确的试验周期。

六周之后，检查以下四项：

六周后的自我检验

0/4

我能独立运行并解释一个完整的模型训练流程。

我有可复现的基线、训练结果和对照实验。

我能解释自己的方法选择、指标变化和实验局限。

我比以前更愿意主动定位和解决具体的技术问题。

这不是招聘录取标准，而是判断自己是否正在从"知道一些概念"走向"能独立解决问题"的检查表。

如果四项都有明显进展，继续沿着模型后训练与 Agent 算法深入。如果你完成实验时发现自己最喜欢的其实是性能优化、内存管理和底层系统，那么调整到 Infra 也完全合理。如果你在已有语音研究中发现自己对音视频理解更有热情，之后再转向多模态，也有连续的积累可用。

但这六周有一件事不要做：因为又看到了一个更前沿的论文或仓库，就直接宣布当前方向选错了。

你可以持续关注新方向，但只有在完成当前研究周期、拿到真实的学习反馈之后，才重新评估主线。

最后，我想把最重要的一点再强调一下。

你的职业方向确实重要，但方向并不是一个必须一次猜中的答案。方向的价值，在于它让你能够连续地积累知识、项目、经验和判断力。对于你来说，现在更需要的是一条能走得动、能形成成果、也能逐渐加深的路线。

我建议你接下来暂定：

主线：大模型后训练与 Agent 能力优化。

辅助：推理系统与模型工程，保留 Nano-vLLM 的学习。

后续扩展：结合已有语音研究，评估多模态理解与训练方向。

暂时不做：从零全面转向扩散模型，或同时啃多个大型开源项目。

你不必保证这一定是未来十年最好的方向。你只需要把下一阶段做好，让自己在六周后拥有比今天更多的技术证据、更多的选择权，而不是更多的焦虑。

##提示词 三

bash 复制代码 
这是简历的完整文本提取，按原版块整理如下：

---

** ｜ 阿里云·算法工程师**
- 热搜｜该牛人近期受同行BOSS欢迎
- 在校-月内到岗 ｜ 27年应届生 ｜ 硕士 ｜ 23岁 ｜ 刚刚活跃
- 标签：QS世界大学排名TOP50、互联网行业经验

**自我介绍**
> 具备RL + Agent + SFT全链路的深度实践能力。RL方面，不仅掌握GRPO/GSPO等主流算法的工程实现，更具备从问题诊断到Reward设计再到Hacking防御的完整方法论------能识别训练信号失效的根因(如检索门控导致的梯度消失)，针对性设计多维奖励并通过消融验证有效性，而非盲目调参。Agent方面，有从零构建多Agent协同架构的落地经验(LangGraph DAG流水线、异构工具调用、多轮ReAct循环)，理解系统级编排与单Agent能力的平衡。SFT方面，熟悉高质量数据构造全流程(等价聚类采样、CoT打标约束、定向补样、loss加权)，注重数据质量而非堆量。
>
> 核心竞争力在于将RL与Agent结合的Agentic RL能力------能为多轮工具交互场景设计训练环境、rollout引擎和过程奖励，并提出算法改进(OGA-GRPO)优化步级信号分配。阿里实习期间主导BIRD榜单系统从72%提升至76%+(top-3)，FinTool-RL项目在FinQA上超越GPT-4 ReAct。兼具工程落地能力与研究创新意识，善于在实际系统约束下做有理论依据的技术决策。

**求职期望**：算法工程师，杭州，行业不限

**实习经历**

① 
企业级意图分类的大模型后训练与评测｜Qwen3.5-4B、ms-swift、LoRA+
- 任务与数据：面向客户34类客服路由意图，从混淆矩阵、逐类召回与错例出发定位边界模糊、标签口径不一致和低频类别问题；逐批审计样本质量，建立待确认样本池、数据版本及可追溯评测记录。
- 后训练策略：保持正式标签定义不变，围绕原始语义进行受控表达改写，训练样本增加约60%；比较LoRA+、RSLoRA、DoRA等参数高效微调方案，并结合多随机种子波动与错例分布确定"表达改写+LoRA+"配置。
- 效果验证：在319条本地开发/选择集上，推荐配置的三种子Accuracy均值为78.0%（样本标准差2.3pp），单次baseline为66.8%；分意图复核残余错误，明确指标适用范围并输出后续迭代建议。

② 2026.08**
业绩：打榜top3 dev数据集
- 项目名称：Text-to-SQL领域权威榜单BIRD benchmark打榜
- 技术栈：GRPO / GSPO / Agentic-RL、ROLL、Tuning Factory、SFT、LangGraph、SQLite、sqlglot、vLLM
- 研究背景：在Matra取数业务已具备一定准度基础上，团队期望在NL2SQL领域公开benchmark上打榜以提升技术影响力。以Agent框架设计与模型后训练为核心手段构建"多路生成 → 智能选择"的端到端系统，从生成侧与选择侧双线优化，多数投票基线端到端72%，最终dev执行准确率达76%+(top-3水平)。
- 技术方案：
  - 多路Agent框架(推理架构，\*\*\*\*\* 86.5%)：基于LangGraph构建并行DAG流水线，采用歧义驱动的多样性生成策略------并行启动多个Generator Agent(各注入不同的探索偏向：表路径/字段选择/计算逻辑)，每个Generator通过ReAct循环(get_schema + 数据探查)分析语义歧义并输出多条差异化思路，经语义去重后由Executor Agent逐条编写并验证SQL(execute_sql + ThinkAndCheck自检反思，最多2轮自修正)；前置Value-Based Schema Linking通过字面量模糊匹配将数据库真实值注入上下文，确保跨路径正交多样性与单路执行质量。
  - 选择侧SFT (72% → 72.6%)：基于执行结果等价聚类构造6w条Pairwise样本，通过swap增强消除位置偏差；针对原始执行结果冗长且信号稀疏的问题，设计RC(程序化结果差异摘要)与SC(LLM结构化差异分析)作为判别证据注入上下文，约束CoT打标使模型基于事实差异而非猜测进行推理；对dev错题归因出6类错误模式后回train定向补样；训练侧实现loss分段加权使梯度聚焦答案token。
  - 选择侧RL (72.6% → 75.7%, +3.1pp)：基于ROLL框架在SFT checkpoint上做在线强化，通过K=8 rollout组内方差筛选中等难度样本获取高质量梯度信号；设计规则化门控奖励(正确底分0.65、错误封顶0.30)防止reward hacking；对比LoRA/全参 × GRPO/GSPO，选定全参GSPO (RL需充分参数更新 + GSPO梯度方差更低)，最终75.7%显著优于LoRA GRPO的73.6%。
  - 生成侧Agentic RL (训练方法，75.7% → 76%+)：在上述Agent的多轮执行-修正交互模式上构建RL训练环境(扩展至最多6轮以增加探索空间)，通过强化学习训练使模型习得更优的自主验证与迭代修正策略，提升单路SQL质量和候选池覆盖率。提出OGA-GRPO算法优化训练信号------针对标准GRPO对同一轨迹内所有步赋予相同advantage、未利用环境每步中间反馈的问题，将每步环境反馈(执行状态/错误类型/结果丰富度/进展方向/阶段/跨轨迹一致性)抽象为6维离散观测状态，按观测状态对同题轨迹分组并计算步级局部baseline，使处境相同但决策不同的轨迹获得差异化advantage；局部与全局baseline按组内样本量加权融合，样本为零时自动退化为标准GRPO，确保不劣于原始算法。
- 项目结果：32B端到端准确率达76%+(较多数投票基线累计提升4pp)；7B验证链路SFT 67.1% → RL 71.2%(+4.1pp)，方法论成功迁移至32B。

**项目经历**

① **AAMAS 2027 (CCFB，投稿中)·作者 ｜ 2026.10-至今**
- 方法设计：针对DAR多Agent辩论中"初始强共识被末轮分歧覆盖"的问题，提出训练无关的 **ANCHOR共识感知读出机制**：仅在初始≥3/4票达成一致、末轮失去强共识时保留初始投票，否则采用末轮结果；读出阶段不新增LLM生成调用。
- 实验验证：基于Falcon3-7B完成六任务评测(1,398题×3随机种子)，宏平均准确率达77.20%，较DAR原论文报告的73.22%高3.98pp(跨实验参考对比)；同轨迹分析中，93次实际改票产生55次纠错、24次退步，净增31次正确决策。
- 机制分析：追踪共识状态变化，将212次回退触发与93次实际改票区分分析；按末轮答案解析完整性分层评估收益，识别共识退化、空解析与错误回退的影响及方法适用边界。

② **Grounding Stateful Agent Actions in Public Evidence and Error Receipts ｜ NAACL (NLP顶会，CCFB，投稿中) | 共同一作**
- 方法设计：针对有状态Agent多轮工具交互中的参数证据不足、操作归属混淆及失败恢复不可靠问题，提出 **PEAM公共证据驱动的动作仲裁框架**：基于交互历史、工具目录与可见记忆约束参数证据、判定操作归属，结合错误回执触发的LoRA适配机制，提高执行可靠性。
- 实验验证：基于Qwen3-8B，在MemTX Main/Hard共146个测试任务上，成功率分别达97.8%/96.4%(+2.2/+8.9pp)；在τ²-bench Telecom的114个双控制任务上，成功率14.9%→26.3%(+11.4pp)，成功任务数17→30；扩展至Qwen3.8-27B后，Telecom成功率达82.5%。
- 机制分析：通过模块消融与执行轨迹分析评估动作仲裁和错误恢复的贡献；Qwen3-8B在Telecom上移除错误恢复、动作仲裁后，成功率分别降至23.7%、13.2%；分析104次错误恢复触发，识别工具异常与操作交接对任务成功率的影响及适用边界。

③ **基于梯度丰富化Reward与多轮工具调用的金融推理RL系统（FinQA / TAT-QA）·独立完成 ｜ 2025.10-2025.12**
业绩：利用agentic rl打榜
- 项目名称：基于梯度丰富化Reward与多轮工具调用的金融推理RL系统(FinQA / TAT-QA)
- 技术栈：Qwen2.5-7B, ROLL (Agentic GRPO), LoRA, Pyserini (BM25), LLM Judge (Qwen3-Max)
- 研究背景：财报数字不在LLM参数化知识内，模型需自主决策"何时检索、用哪种工具、如何多步取数与推理"。金融推理与数学推理的关键差异在于检索步骤的二元门控性(取到正确数据则计算确定性完成，取不到则全链路失败)，这导致GRPO组内结果高度同质化。
- 技术方案：
  - 6维梯度化Reward：打破组内同质化的关键在于让信号恰好作用在检索门控点，设计检索相关性维度(R₃)使"检索对但算错"与"检索也错"的rollout产生组内差异、恢复有效advantage(消融验证R₃贡献最大，-6~8pp)；辅以数值近似度(截断衰减τ=0.15防止模型输出安全中间值)、工具选择、步骤覆盖度等过程维度；LLM Judge退火(α:1.0→0.5)解决rule-based无法评估推理自洽性而Judge存在长度偏差的矛盾。
  - 异构双工具 + 多轮Rollout：表格线性化后BM25丢失行列结构，故设计search_table(结构化参数→精确单元格取数)与search_text(BM25→段落检索)双工具；实现含retrieved token masking的多轮rollout循环(最多5轮)；建立五大类错误归因体系监控训练动态并检测reward hacking。
- 项目结果：FinQA test EM 78.4%(vs SFT +15.2%, vs GRPO-EM-only +11.9%, 超越GPT-4 ReAct +2.3%)，TAT-QA dev EM 82.6%(+12.2%)，工具调用准确率51.3%→89.7%。

**教育经历**

① **浙江大学 ｜ 硕士·电子信息 ｜ 2024-2027**（985院校、QS世界大学排名TOP50、专业前1%）
- 
- 技能荣誉：国家奖学金、小米特等奖学金、2篇EI论文、3篇专利。熟悉Python；了解Java、C等语言

② 

**
**所获荣誉**：奖学金｜特长奖\*8｜青岛市千名优秀大学生｜全国大学生数学建模竞赛省级一等奖｜小米特等奖学金｜EI会议论文"ICWCIS 2023"（另有"展开全部27个所获荣誉"未展开）

**资格证书**：大学英语六级、大学英语四级（CET-4/CET-6）

**专业技能**：模型后训练：SFT、LoRA/LoRA+、GRPO/GSPO、ROLL；Agent与工程：Python、LangGraph、ReAct、vLLM、ms-swift、SQLite

---

  这是女生的简历 我认同你给出的主线大模型后训练方向 可是有没有具体的学习路径和课程 这部分我仍然迷茫 我不知道我该干什么 可能是以前的教育都是学习清晰的已知内容 现在完全不知道我该干什么 我看到他们站在高处又很羡慕

看完这份简历，我更能理解你为什么会羡慕她了。

这不仅仅是羡慕她毕业于浙大、拿了国奖、进入阿里算法组。真正刺激你的，可能是她展现出来了一种你非常想拥有的能力：面对一个没有标准答案的技术问题，她似乎知道如何提出假设、设计方法、做实验、分析结果，最后把它变成论文或项目。

你过去的学习经历，更多是沿着别人安排好的路线走：先学《深度学习》，再学 Transformer，再学 SFT、DPO、GRPO，然后读技术报告。每一步都有现成的教材、课程和结论。

但是现在，你想成为真正的算法工程师，就必须开始面对另一类问题：

  • 没有人告诉你，接下来最值得研究的具体问题是什么。
  • 没有人提前告诉你，应该采用哪种方法。
  • 做了实验之后，结果可能与预期相反。
  • 你甚至不能确定自己现在花费的时间，最终能不能形成有价值的成果。

这就是从学习已知知识转向研究未知问题的困难。你不是简单地缺一份课程表，而是缺一套从学习、实践到发现问题和验证方法的工作流程。

我也想提醒你，不要直接把那份简历当作一个必须复制的模板。她列出的 Agentic RL、奖励设计、分步优势估计、错误归因、消融分析，实际上覆盖了很多层次的能力。即使每项都做得扎实，也不可能靠短期看完几门课就全部掌握。

但你不需要一下子达到她的水平。我们可以把她的工作拆解成一组更小、可以逐步习得的能力，然后按顺序建立起来。

一、先确定你的课程体系：只设一个主课程、一个实践框架

我查了目前的官方资料，给你的首选是 Hugging Face 的 smol-course。它不是只有视频的理论课程，而是围绕指令微调、模型评测、偏好对齐和强化学习逐步展开，并包含实践任务。课程介绍提供免费学习路径，建议每个单元投入约 3--4 小时。 【turn208467search1】

Hands-On Exercises: Fine-Tuning SmolLM3 - Hugging Face a smol course

主课程：Hugging Face smol-course

免费 · 理论与实践结合 · 按单元推进

打开课程

这是你未来几个月的主课程。按照 SFT → 评测 → DPO → RL 的顺序学习。先完成已经开放的内容，不必为了追赶课程日程而同时学习所有模块。

trl/docs/source/grpo_trainer.md at main · huggingface/trl · GitHub

实践框架：Hugging Face TRL

把课程里的算法真正运行起来

官方文档

TRL 提供 SFT、DPO、GRPO 等训练器，也支持自定义奖励函数。你可以用同一套工具逐步完成训练和实验，避免每学一个方法就换一个框架。 【turn208467search0】【turn684365search0】

进阶参考：Alignment Handbook

官方代码仓库

等你能独立完成 SFT 和 DPO 后，再参考这里的训练配方、数据处理与配置。不要一开始就试图读完整个仓库。 【turn208467search5】

我建议你先以 TRL 作为学习框架。等同一个小项目已经跑通、原理也能解释之后，再尝试用阿里生态中常用的 ms-swift 复现一遍。它目前支持 SFT、DPO、GRPO、GSPO 等多种训练方法，适合后续了解更丰富的训练流程。 【turn926605search0】

为什么不建议你从一开始就同时学 TRL、ms-swift、LLaMA-Factory、OpenRLHF？

因为你现在缺的不是工具覆盖率，而是能把一个训练任务从头到尾做完的能力。先学会一套工具，再横向比较，效率更高。

还有 Stanford CS336《Language Modeling from Scratch》，它确实是一门很好的语言模型课程，涉及数据处理、Transformer 构建、训练、评测与部署。但它的重点是从头构建语言模型，对你现阶段的后训练目标而言，不应当成为新的必修主线。 【turn208467search3】

二、真正的学习路线：从会训练模型，到能研究模型

我把你的路线拆成四个阶段。每个阶段都有一个可以验收的成果，你不需要猜自己究竟学到了没有。

01

阶段一：监督微调与评测（SFT + Evaluation）

第一优先级

你需要掌握：数据格式、Chat Template、损失函数、标签掩码、LoRA、过拟合、验证集和测试集划分。

验收标准： 用一个小模型完成微调；保存模型；在固定的测试集上比较微调前后的结果；能够解释哪些类别有所提升、哪些类别退化。

不要只跑通命令，还要能够解释训练数据如何进入模型、哪些 token 参与损失计算，以及指标为什么变化。

02

阶段二：偏好优化（DPO）

你需要掌握：chosen / rejected 数据、偏好对的构造、参考模型、策略对数概率、DPO 损失，以及偏好优化可能带来的能力退化。

验收标准： 在 SFT 基础模型上构建偏好数据并完成 DPO，对比 SFT 与 DPO 在同一套固定评测集上的表现。解释它到底改善了什么，代价又是什么。

03

阶段三：强化学习（GRPO）

你需要掌握：Rollout、奖励函数、组内优势估计、策略梯度、KL 约束、梯度更新，以及奖励投机（reward hacking）。

验收标准： 先在一个有客观评分标准的任务上完成最小 GRPO 训练，能画出奖励、任务成功率等指标随训练的变化，并解释为什么奖励上升不一定代表真实能力提升。

04

阶段四：提出假设并进行实验改进

从前面实验中发现的具体问题出发，提出一个小假设，设计一个对照实验，观察结果，再分析适用范围。

验收标准： 写出一份包含研究问题、实验设置、基线、结果、消融与局限性的技术报告。

这是你从"会调用训练框架"向"具有算法研究能力"迈进的关键一步。

你会发现，这四个阶段的顺序并不是随意排列的。SFT 阶段训练出来的模型，是后续 DPO 和 GRPO 实验的基线；评测体系是判断改进有没有价值的共同标准；只有积累了前面的证据，才有条件提出有意义的算法改进。

你之前其实已经学过 SFT、DPO、GRPO，也做过 MiniMind 的小规模训练实验。

因此，这条路线不需要你把所有基础知识再从头学一遍，而是要把原先分散的知识组织成一条完整的训练与研究链路。

三、用一个项目把四个阶段串起来，而不是每门课单独学

我建议你未来的主项目暂定为：

从 SFT 到 DPO、GRPO：研究小型语言模型的工具调用能力如何提升。

它可以连接你以前的 Agent 经验、已有的后训练基础，以及未来希望做的算法研究。

项目不需要一开始就很宏大。你可以构建一个简单的任务环境：用户提出问题，模型可以调用数据库查询、计算器等工具，最后提交答案。工具执行结果能够被程序检查，因此可以建立明确的奖励函数。

实验基线

原始模型

固定测试问题，测试模型能否选择正确的工具、生成正确的参数并完成任务。

实验一：SFT

给模型提供正确的工具调用示例，观察它能否学会工具使用的基本模式。

实验二：DPO

构造成功和失败的回答对，研究偏好优化能否让模型更倾向于有效的调用方式。

实验三：GRPO

让模型自己生成多个调用轨迹，用可验证的任务结果评分，研究在线优化能否进一步改善任务成功率。

最终交付物

一套可运行的代码、一份固定的评测集、一张包含多种方法的结果表，以及一份解释失败原因的技术报告。

为什么我特别推荐这种项目？

因为它能让你真正理解训练中的因果关系，而不是停留在背诵方法名称。

例如，SFT 已经显著提高了工具调用成功率，DPO 却没有进一步改善，这时你就有一个具体问题需要回答：是偏好数据质量不好，还是 SFT 已经解决了主要错误，又或者你的评测集无法反映真实差异？

再比如，GRPO 训练中的平均奖励不断上升，但任务成功率没有提升，那么你需要检查奖励函数是否与真实任务目标一致、模型有没有学会钻奖励函数的空子。

这才是你想从那份简历中学习的核心能力：不是知道 GRPO、GSPO 和各种奖励设计的名字，而是能够发现问题、构建实验、解释结果。

对于 GRPO 的原理和实现，可以直接以 TRL 的 GRPO 官方文档 为主线。它解释了生成多个回答、计算组内优势、计算 KL 项及构造训练目标等过程，也提供了自定义奖励函数和交互环境的实践接口。 【turn684365search0】

四、给你一份从今天开始的时间表

你现在不应该因为制定学习计划，又把论文和求职挤到后面。距离 11 月 30 日中期答辩只剩 35 天，眼下的学习任务必须控制规模。

10 月 27 日---11 月 30 日：轻量实践阶段

每周安排 3 次，每次约 45--60 分钟。论文、求职和国考仍然优先。

周次 学习任务 当周成果
第 1 周 完成 smol-course 的 SFT 基础单元；熟悉 TRL 的 SFT 训练流程 一页笔记：数据如何进入模型、损失如何计算
第 2 周 选择一个可自动检查答案的小任务，建立固定评测集 原始模型的基线结果
第 3 周 对小模型进行 LoRA SFT 微调 可运行的训练脚本及模型检查点
第 4 周 对比训练前后结果，按失败类型分析 第一张对照表和错误分析
第 5 周 整理代码与文档，结合实际问题复习原理 一个能够从头复现的 SFT 小实验

这里的第五周实际上与中期答辩准备时间重叠，因此要根据论文进度灵活调整。若论文出现关键问题，暂停代码学习比影响毕业进度更合理。

你这个阶段不需要完成 DPO 或 GRPO，只要完成一个质量可靠的小实验就足够。不要试图在 11 月底之前同时吃透所有课程、所有框架和所有算法。

12 月开始：集中实践阶段

论文中期答辩结束后，再进入后训练项目的深入部分。以每周 8--12 小时的可持续投入为参考，按下面的节奏推进。

时间 主要任务 必须留下的成果
第 1 周 完善数据集、基线与 SFT 实验 固定评测集、训练脚本、基线与 SFT 对比
第 2 周 研究 SFT 的数据质量与泛化问题 一个有明确假设的数据实验
第 3 周 构造偏好数据，完成 DPO 偏好数据、DPO 训练和评测结果
第 4 周 分析 DPO 的提升与退化 错误分析及偏好优化的适用边界
第 5 周 实现最小 GRPO 训练和可验证奖励 自定义奖励函数、训练日志
第 6 周 研究奖励与任务成功率是否一致 奖励曲线、成功率对比、奖励投机检查
第 7 周 根据失败分析提出并验证一个改进假设 对照实验或消融结果
第 8 周 整理项目、复现说明与技术报告 完整项目文档及面试讲解材料

这是一个学习周期的规划，不是对结果的保证。实际进度取决于代码环境、数据构造和实验是否顺利。

我尤其希望你不要急于在第七周提出一个像 OGA-GRPO 那样带有新名称的新算法。你先证明自己能独立运行标准方法、识别问题、建立公平的基线，然后再考虑提出改进。可靠的基线加上严谨的分析，比一个缺少验证的创新名称更有价值。

五、基础究竟要补到什么程度？

你之前提过，自己有时会被一个公式问住。这说明你还需要一套有针对性的基础复习，但不需要重修整套大学课程。

你应该把下面四类公式真正学懂：

  1. SFT：模型到底在优化什么？

\ \\mathcal L_{\\mathrm{SFT}} =-\\sum_t\\log \\pi_\\theta(y_t\\mid x,y_{\

你应该能解释：为什么使用负对数似然、为什么只在目标回答 token 上计算损失、改变训练数据如何影响模型输出。

  1. LoRA：为什么少量参数也能微调模型？

\ W'=W+\\Delta W,\\qquad \\Delta W=BA \\

你应该能解释：低秩分解的含义、可训练参数为什么减少，以及它为什么并不保证一定比全参数微调效果好。

  1. DPO：偏好数据怎样改变策略？

你需要能解释 chosen 与 rejected、策略和参考模型的概率比，以及为什么 DPO 不必先单独训练一个奖励模型。

  1. GRPO：为什么同一问题要生成多个回答？

\ \\hat A_i = \\frac{r_i-\\operatorname{mean}®} {\\operatorname{std}®+\\varepsilon} \\

你应该能解释：组内比较提供什么训练信号、当所有回答得分相同时会发生什么，以及奖励的变化为什么不一定等于真实能力的变化。

每学一个公式，都要求自己完成三个动作：用自己的语言解释每一项的含义，用一组极小的数字手算一次，再在代码里找到对应实现。

你不需要在第一遍就推导所有高级优化技巧。但关键概念必须能从直觉、数学到实现串起来。

如果你对某个公式只能说出名字，却解释不了它为什么这样写，就把它列入基础薄弱清单。这比重新看一遍完整的深度学习课程更有针对性。

六、怎样避免再陷入"学了很多，却没有进展"的循环？

你以后不应该用"这个月读了几篇论文"来评价自己，而应该每周检查四项结果。

每周进步检查表

0/4

至少一个能实际运行、过程可解释的训练或评测脚本

一份保留了配置和原始结果的实验记录

一次对错误样本或异常训练现象的分析

一段不用照着资料也能讲清楚的技术解释

这四项不是每周必须全部完成的硬性考核，而是帮助你判断自己有没有真正从知识输入走向实际能力的检查点。

此外，你还要给自己设定一条规则：在一个学习周期内，不因为看到了新论文、新仓库，就直接换主线。

看到感兴趣的新技术，可以记录在一个待研究清单里。只有当当前项目已经完成一个明确阶段，或者实验结果表明当前问题不值得继续投入时，才重新评估方向。

这能减少你在选择之间不断摇摆的时间。

七、最后，再回到那位女生

我不会轻易断言她的每个技术成果都已经得到独立验证。你提供的是一份求职简历，其中包含候选人自己陈述的结果；没有对应的代码、论文正文和实验数据，我无法判断每项工作具体由她独立完成到什么程度，也无法公平比较不同实验设置下的数字。

但这不妨碍我们从她展示的技术路线中提炼有价值的学习目标：建立基线、优化数据、训练模型、验证结果、分析失败、进行消融，并把研究过程完整地表达出来。

她现在呈现出的，是一系列已经完成或正在进行的项目成果。你看到的是她成果的压缩版本，却没有看到相同长度的学习记录、试错过程和失败实验。直接拿这份简历与你今天的状态比较，本身就不公平。

你当然可以羡慕她，但不要让这种羡慕变成另一种压力，逼迫自己马上去研究最前沿、最复杂的算法。

你的下一步不是达到她的高度，而是完成自己的第一个研究闭环。

所以，你今天只需要做一件很具体的事：打开 smol-course，开始 SFT 单元，并新建一个项目目录，把数据、训练配置、评测脚本和实验记录分开管理。

不要同时开四个仓库，也不要立刻开始设计一种新算法。从一个小模型、一项可以自动验证的任务开始，把它真正跑通。

你之前的学习并没有白费。现在要做的是让那些已经学过的知识，第一次真正连成一个完整、可复现、能够解释结果的工作。

cpp 复制代码 
### 强化学习 学习资料 2026年10月26日

- **GitHub**：[https://github.com/walkinglabs/hands-on-modern-rl](https://github.com/walkinglabs/hands-on-modern-rl)
- **在线版（中英双语，可直接读）**：[https://walkinglabs.github.io/hands-on-modern-rl/](https://walkinglabs.github.io/hands-on-modern-rl/)
- 结构：**7 大部分 26 章**，全程 Python 可运行

找到了，就是这本书 ------**《Reinforcement Learning from Human Feedback》**（简称 **RLHF 书 / RLHF Book**）。

### 基本档案

- **作者**：Nathan Lambert（内森・兰伯特），Hugging Face + Ai2 的 RLHF 研究员
- **和 TRL 的关系**：你没记错 ------ 他就是 **Hugging Face TRL 库（Transformer Reinforcement Learning）的核心维护者之一**，深度参与了 TRL 的 GRPO、RLHF 后训练实现（TRL 是 Leandro von Werra 发起的项目，Lambert 是主要贡献者）
- **正式书名**：《Reinforcement Learning from Human Feedback: Alignment and post-training of LLMs》（2026 年版；早期版本副标题是 "A short introduction to RLHF and post-training focused on language models"）

### 看的地方（免费）

- **官网在线阅读**：[https://rlhfbook.com/](https://rlhfbook.com/)
- **arXiv 版本**：[https://arxiv.org/abs/2504.12501](https://arxiv.org/abs/2504.12501)（可下 PDF）
- **中文译本**（社区翻译的《RLHF 中文手册》，含 SFT/PPO/GRPO/DPO/RLAIF）：[https://jweihe.github.io/RLHF-book-Chinese/book.pdf](https://jweihe.github.io/RLHF-book-Chinese/book.pdf) 我现在处于一个很尴尬的位置，就是关于有监督微调GRPO、JSPODPO呃这些后训练的方法，我基本上都有学习过，尤其是他们的损失函数我也都知道，但是呢你说要我真正去跑过按照某些任务去做过，我确实没有，这就是一个很尴尬的我知道原理但我不知道代码。我也没有经过实践，所以你跟我说出这些我要去做这些事情的时候，我感觉啊我要重复做一遍吗？好像并不是这样的吧。但是同时呢另一个方面来讲，我也确实没有资格说我完全的很熟悉他们，我没有去输出过一个呃任务用到这些方法，我只是单纯的了解过这些方法的公式。然后还有一个点在于我也找了一些这种后训练的资料，你帮我看一下帮我排一下这几个课程和资料的优先级，因为我看到这个书这个ILHF这个书应该是很不错的，里面也会有一些小的实践啊什么的，我认为先把这本书跟着它做下来会不会更好一些？我觉着不能搞太多东西，还是要把精力收束起来集中的攻下来一个东西。是最好，其实这个东西就像多米诺骨牌一样滚雪球一样越滚越大的，就是说先把一个东西弄好了以后，我对整个的强化学习和训练就建立认知了，那我其实到时候我就可以自己判断我还缺什么，我再去补什么就可以了，你觉得呢

一、先把资源关系弄清楚：你找到的其实是两本不同的书

这是最重要的一个区别。

A. Hands-On Modern RL

在线阅读

主实践教材

这是你最开始发的 walkinglabs/hands-on-modern-rl。它包含 7 个部分、26 章，范围从经典强化学习、PPO，一直延伸到 LLM 后训练、Agentic RL、多模态强化学习。对应章节也配有代码实验。官方建议想学习 LLM 后训练的读者重点学习第 13--18 章，并根据需要回补策略梯度、优势估计和 PPO 等基础。

GitHub

+1

B. Reinforcement Learning from Human Feedback

官网在线阅读

主理论参考书

这是 Nathan Lambert 的书，正式出版版副标题为 Alignment and post-training of LLMs。它围绕经典后训练流程，讨论 SFT、奖励模型、强化学习、DPO、拒绝采样、偏好数据和工具调用等。作者将它定位为理解 RLHF 与后训练核心方法的入门参考。

GitHub

+1

这两本书不是同一本的两个版本。

对你的当前需求，我会这样选择：Hands-On Modern RL 负责带你动手，RLHF Book 负责在你遇到理论问题时解释为什么。

不需要两本都从头读到尾，更不需要同时再开三门课程。

二、我给你排的优先级

优先级 资源 使用方式

1 Hands-On Modern RL 唯一主线。重点学习 LLM 后训练部分的代码实验

2 RLHF Book 按需查阅相关章节，不要求通读

3 TRL 官方文档 写代码时查询具体训练器、数据格式和参数

暂缓 smol-course 它也覆盖 SFT、评测、DPO 和 RL，但目前与主线有较多重叠，不必并行学习。 Hugging Face

暂缓 Alignment Handbook、CS336、Nano-vLLM 先不作为当前任务。完成一个后训练实验后，再根据缺口决定是否需要

TRL 是 Hugging Face 的训练工具库，提供 SFTTrainer、DPOTrainer、GRPOTrainer 等实现；它更适合作为你的代码工具和 API 参考，而不是另一套需要系统刷完的教材。

Hugging Face

还有一点：Hands-On Modern RL 目前仍在持续开发，官方也注明了部分实验需要特定 GPU 环境。因此，遇到依赖版本或环境配置问题时，不要立刻归因于自己不懂算法。先检查仓库的实验说明、依赖与运行环境。

GitHub

+1

三、不要从第一章开始重新上课：你需要跨过的是实践关

你已经认识不少公式了。接下来应该用一种不同于过去的学习方式。

以 DPO 为例，你不必先重新花三天把整个损失函数推导一遍。你应该直接进入代码，沿着下面的过程走：

  1. 先跑原始示例

不急着改代码。确认依赖、数据集、模型和训练脚本都能够正常运行。

  1. 追踪真正的训练流程

从偏好数据读取开始，找到 chosen / rejected 如何进入模型，损失在哪里计算，优化器在哪里更新参数，评测又在哪里执行。

  1. 修改一个变量

比如改变一组偏好样本、调整一个训练参数，或者比较不同训练配置。一次只改变一个主要因素。

  1. 对比结果，解释差异

看训练前后的模型输出、评测指标和训练日志，解释发生了什么，以及你还不能确定什么。

这四步才是一个完整的学习单元。

你会发现，所谓"从原理走到代码"，并不是把数学知识扔掉，而是把每一个公式重新放回实际训练流程中，弄清楚它在什么时候发挥作用、如何影响模型，以及结果是否符合预期。

四、接下来四周，只做一条实践主线

考虑到你还要在 11 月 30 日前推进论文，而且有国考复习任务，我不建议你现在投入大量时间重新学习完整的强化学习体系。

现阶段每周安排三次、每次 45--60 分钟就够了。

第 1 周

建立运行环境

目标：完成一次 DPO 训练

从 Hands-On Modern RL 对应的实践章节中选择一个 DPO 示例，运行原始流程并记录配置、日志和评测结果。这里先使用小模型和精简实验，不追求大规模训练。

第 2 周

读懂代码

目标：能解释训练器的关键数据流

重点跟踪数据预处理、模型前向计算、chosen / rejected 的对数概率、损失计算和参数更新。将这些环节对应到自己已经学过的公式。

第 3 周

做一次对照

目标：完成一个小型实验

在固定评测条件下，只改变一个主要因素，比较实验结果。若效果没有提升，就分析数据、训练配置和评测是否足以解释这个现象。

第 4 周

沉淀成果

目标：写出一份简短技术报告

记录研究问题、数据、方法、实验结果和局限。再根据实际运行中遇到的问题，决定接下来是否开始 GRPO 章节。

这四周的目标是学习闭环，不是要求你在论文中期答辩前完成一个足以写进简历的大型后训练项目。论文如果有关键节点，也应该优先保证论文进度。

答辩以后，再进入 GRPO 与可验证奖励的实践，逐渐从单轮偏好优化走向在线强化学习和 Agent 训练。不要现在就同时启动 DPO、GRPO、GSPO 和 Agentic RL 四套实验。

五、什么才算这次真的学会了？

我建议你不要把"看完了 Hands-On Modern RL"作为验收目标。

先以 DPO 为例，给自己设定一个清晰的标准：

  • 能运行训练流程，知道输入数据和模型输出是什么。
  • 能在代码里找到核心损失计算与参数更新。
  • 能独立完成一次受控的对照实验。
  • 能解释结果、失败原因和实验局限。
    这四项达到之后，你就不再只是"知道 DPO 的公式"，而是完成了从理论认知向工程实践的一次迁移。

GRPO 也采用相同标准。等你走到 GRPO 时，再把注意力放到在线 rollout、奖励计算、组内优势、策略更新和训练稳定性上。这样每个阶段都有明确的新能力，不会把过去学过的内容从头重复一遍。

我的最终建议：现在把 Hands-On Modern RL 设为唯一主线，先完成 DPO 的一次端到端实验；RLHF Book 只作为解释原理的参考书。

你不需要再寻找更好的课程了。你已经有足够好的学习材料，接下来需要的是让它们为一个实际任务服务。先把第一个训练流程跑通，再决定下一块该补什么。这比继续收集课程，更有机会成为你真正滚起来的第一张多米诺骨牌。

我觉得我现在存在一个误区，就是我觉得DPO它单看是一个很简单的东西，它的数据实际上就准备一个呃那个两个标签，一个是好的，一个是坏的，然后到时候它就直接去按照公式讲的那样把好的好的拉近，把坏的推远就可以了，呃我就不需要再去动手去做任何的训练了。然后另一个方面呢我还存在一个误区，就是我感觉训练都是非常困难的，需要协调GPU资源不说。呃数据集啊、模型的结构呀，我这部分我都都得依赖外界，那么我能够参与的就非常少，那么对我的成长提升就很少。那么如果不依赖外界呢，我又无从下手，现在处于一个这样的一个很很卡住的一个点，就是我好像已经完全会了DPO了，我可以给面试官讲我做了DPO它有哪些提升，但是呢面试官也可能会追问我可能就没有什么底了，我觉得还是自己实际做一些会会好一些。但是有时候又会陷入另外一种，就是我点了一下运行，然后它就运行起来了，然后就做不深。我觉得还是要如果它能够提供一些资源帮助我去把它实验做出来是最好，但是我认为我现在是我自己的思考，就是还是要把它做深一些，我可以自己再去做一些变换，做一些呃测评，做一些测量，然后看看它里边到底是怎么回事，哪些是最有用的，哪些是最核心的本质是什么东西，我把它研究透了，实际上这个东西就是我的了，我就把它学到了。你觉得对吗 我不应该眼高手低

我认为你这次想明白了一件非常关键的事情，而且这比你再学一门课程、再看一篇技术报告更有价值。

你真正想要的不是"学会 DPO"，而是获得独立研究和解决算法问题的能力。

你已经开始意识到，自己过去的学习方式存在两个极端。

一个极端是眼高手低：知道 DPO 的公式，知道 GRPO 的优势估计，知道各种方法的名字，就觉得自己已经掌握了它们，却没有真正跑过完整的训练流程。

另一个极端是机械执行：下载一个仓库，配好环境，点击运行，训练结束，看一眼指标，就觉得已经完成了学习。

这两种方式确实都有局限。第一种缺乏实践，第二种缺乏思考。

你真正想建立的，是第三种方式：

先让实验跑起来，再通过观察、测量、改变变量、比较结果和分析失败，把算法变成自己的能力。

这条路是对的。但我要帮你再往前推进一步：不是把每一个算法研究到"彻底透彻"才算掌握，而是学会围绕一个具体问题，完成一套有证据、有边界的实验闭环。

这也能缓解你现在最大的顾虑：你不需要一开始就拥有自己的大规模数据集、设计全新的模型架构，或者协调一整个集群，才能开始真正的算法实践。

一、先把 DPO 的理解纠正到位

你说 DPO 的数据就是两个标签，一个好的、一个坏的，然后把好的拉近、坏的推远。这个理解抓住了直觉，但还不足以指导真实实验。

一条典型的 DPO 样本是：

复制代码 
{    "prompt": "请解释什么是过拟合",    "chosen": "过拟合是模型过度学习训练数据中的特征......",    "rejected": "过拟合就是训练数据太少......"}

这里并不是简单地给一个答案标注 0 或 1，而是提供同一个问题下，两个回答的相对偏好。TRL 的官方文档也是按 prompt、chosen 和 rejected 这样的数据结构组织离线 DPO 训练数据。

image

Hugging Face

然后才是模型训练。DPO 优化的是当前策略模型相对于参考模型的偏好概率差异，而不是简单地、独立地将好答案概率提高、坏答案概率降低。

实际训练中可能出现的情况包括：

  • 好答案相对于参考模型获得了更高的概率增量。
  • 坏答案相对于参考模型获得了更低的概率增量。
  • 两者都有变化，而且变化幅度不同。

因此，即使 DPO 的公式不长，也必须经过前向计算、损失计算、反向传播和参数更新，才会真正改变模型。运行训练并不意味着一定提升了模型的真实能力。

image

Hugging Face

这里有一个重要区别：你目前可以说自己理解了 DPO 的基本原理，但还没有通过完整实验验证自己掌握了 DPO 的实践流程。 这不是否定之前的学习，而是把自己的能力边界描述准确。

二、你真正能够独立贡献的部分，比想象中多

你担心自己没有模型、数据和 GPU，就只能依赖外部资源。但这里需要把研究工作拆开看。

工作环节 是否必须从零开始 你能够独立做的事
基础模型 不需要 选择合适的起点，理解模型与配置
偏好数据 不需要从零构造 检查质量、分析错误、筛选样本、设计数据实验
训练框架 不需要从零编写 使用训练器、跟踪数据流、核查损失计算
GPU 资源 不必一开始拥有集群 缩小实验规模，合理设置显存、批次和序列长度
实验设计 必须主动思考 建立基线、控制变量、选择指标、解释失败
研究结论 不能由框架替你给出 判断证据究竟支持什么，以及什么还不能确定

这张表中，后两项是你特别需要训练的能力。

你可以用别人训练好的模型、公开数据集和成熟框架完成一个有价值的实验。真正的关键，是你是否知道为什么选择这些材料、如何判断数据是否适用、如何设计公平比较，以及怎样解释实验结果。

你不必一开始就发明算法，也不必独立搭建整个训练系统。

你需要对研究问题和实验结论负责，而不必对每一个基础组件都从零实现负责。

三、给你一个真正值得做的 DPO 小实验

我建议你暂时不换方向，也不继续搜集课程。直接用 Hugging Face TRL 的 DPOTrainer 官方教程 开始。

官方提供了使用小型 Qwen 模型和 UltraFeedback 偏好数据集的快速示例，也支持相应的训练与评测流程。

这里的目标不是复现一篇顶会论文，而是完成一次有研究意识的训练。

DPO 实践：从运行到理解

建议在论文中期答辩前，每周安排 3 次，每次 45--60 分钟。

第一步：检查数据

抽查 50 条偏好样本，确认问题、chosen、rejected 的对应关系，检查长度、格式、偏好是否合理。

第二步：建立基线

选用小模型和适量样本。固定一组未参与训练的测试问题，记录训练前的模型输出和评价结果。

第三步：完成训练

按官方示例跑一次小规模 DPO，记录模型、数据版本、学习率、beta、训练步数和日志。

第四步：检查训练信号

观察 loss、chosen/rejected 的隐式奖励、reward margin 和 reward accuracy，理解这些指标如何变化。

第五步：验证真实效果

比较训练前后的固定测试集表现，分析若干成功与失败样本，检查训练集上的指标提升是否能泛化。

第六步：只改一个因素

例如比较两种 beta 配置。其他条件尽可能保持一致，分析偏好分离程度、实际任务表现和训练稳定性是否同时变化。

进度：0/6

重置进度

训练资源方面，先采用小模型、少量样本和较短序列；显存不足时再考虑 LoRA、梯度累积等方式。不要为了模拟真实生产环境而一开始就追求大模型、大数据量和多卡训练。

这个实验真正要回答什么？

假设你训练后观察到 DPO 的 reward margin 变大了。

你不能直接说："模型的回答质量提高了。"

你需要继续问：

第一，训练数据上的偏好区分是否变强了？ 观察训练日志中的偏好奖励差异和分类准确率等指标。

第二，未见过的数据上是否同样有效？ 在独立评测集上检查，避免只是在训练样本上拟合。

第三，真实输出有没有改善？ 检查回答是否更准确、更符合任务要求，有没有出现过度冗长、模板化或其他退化。

TRL 提供的偏好奖励、奖励差值和奖励准确率等训练指标，可以帮助你理解优化过程，但这些训练指标并不能代替独立的任务评测。

最后，你只需要完成一次有意义的对照实验，就能获得比单纯阅读公式更多的认识。即使最终效果没有提升，只要你能够解释可能的原因，并且用证据支持自己的判断，这次实践就有价值。

四、别再追求一次性把一个算法彻底研究透

你提出要把一个算法的核心本质研究透，我赞成其中的方向，但不建议把"彻底透彻"设为开始下一个任务的条件。

因为算法研究本来就是逐步深入的过程。第一次运行时，你可能只理解了训练链路；第二次修改数据后，才发现数据质量的重要性；第三次分析失败时，才开始理解评测指标的局限。

这种逐渐深入的过程是正常的。

我建议你采用这样的进阶标准：

  • 入门： 能运行算法并理解主要流程。
  • 熟练： 能检查关键实现、做一次对照实验、解释主要指标。
  • 深入： 能识别失败模式、提出合理假设，并设计实验验证。
  • 研究： 能发现现有方法的局限，提出具有证据支撑的改进，并明确适用边界。

不要跳过前三层直接要求自己做出原创算法。

而且，你现在还有论文中期答辩和求职任务。你不必每天花几个小时研究 DPO，也不必急于把它做成简历项目。先把最小闭环跑通，再根据实际发现的问题决定投入多少时间。

我希望你记住一个原则：

不是先把算法全部理解完，才开始实践；而是在实践中不断发现自己还不理解什么，再回到理论里把那个问题弄懂。

你现在真正需要的，不是更多资料，也不是证明自己已经掌握了所有方法，而是一次完整、真实、可以复查的实验。从这一次开始，你就不再只是学习算法的人，而是在练习怎样做算法工作了。

相关推荐
m4Rk_1 小时前
【论文阅读】Agent记忆机制（112）：MemFit——保留对话原文，用多路检索降低长期记忆成本
论文阅读·人工智能·学习·开源·github
AI日报派送佬1 小时前
2026年10月21日AI行业日报｜DeepSeek开源推理框架DeepInfer，谷歌TorchTPU开源破局TPU生态
人工智能·开源·openai·谷歌·英伟达·deepseek·ai日报
CAIE研习社1 小时前
CAIE一级有学历和专业门槛吗？报考条件、考试内容与适合人群解析
大数据·人工智能
强哥聊算力1 小时前
《算力江湖·DeepSeek》第四集：DeepSeek如何改变中国算力的采购逻辑？
大数据·运维·人工智能·ai·gpu算力
小雷信息医学1 小时前
MedCortex：告别逐个试变量
人工智能
yh弓长1 小时前
机器学习的四种范式
人工智能
QC777LX2 小时前
金融企业选证书：专业资格是门槛，AI认证是补充
人工智能
niucloud-admin2 小时前
NIUCLOUD PHP SAAS上门家政使用文档
前端·人工智能·ai编程
fengyangaiGEO2 小时前
如何通过GEO优化实现外贸B2B询盘增长？
人工智能·python
热门推荐
01如何新建文件夹？ 电脑新建文件夹的4种方法02国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）03历年考研数学一、数学二、数学三真题试卷及答案PDF04GitHub 镜像站点05几个好用的ip纯净度检测网站06苹果iPA游戏软件资源下载网站07昇腾910B系列芯片完全指南：四款型号对比、服务器选型与大模型部署实战08蜘蛛磁力 搜索引擎大全，如何使用蜘蛛磁力查找磁力链接09CVE-2026-91403 高危漏洞预警：Java JSSE 信任链被攻破 全场景修复方案与Linux系统级彻底清理实操10Windows 10/11 如何退出微软账户并改用本地账户登录（含找不到选项的解决方法）