llm训练

隔窗听雨眠

大模型强化学习训练的工程实现与调优路径语言模型的后训练阶段通常被切分成三个前后衔接的环节，分别是监督微调、偏好对齐和推理能力强化。监督微调解决的是输出格式与任务分布的问题，它让模型学会在给定指令下产出结构正确、语气得体的回答。偏好对齐解决的是人类偏好排序的问题，它让模型在多个都算正确的回答里倾向于更被接受的那一个。推理能力强化解决的则是另一个层面的问题，即在答案正确性可以被自动判定的任务上，让模型自己摸索出更长的思考链路、更稳的中间步骤和更高的首次命中率。

Muon is Scalable for LLM Training 和 RMS-to-RMS在近期大模型（LLM/ViT）优化器的研究（尤其是 Muon、Scalable Muon 及 AdaMuon 等衍生方案）中，RMS-to-RMS（均方根对齐 / Rescaling）是一个关键的更新幅值缩放策略。

从零训练 LLM：解析 GitHub 开源项目 train-llm-from-scratch在大型语言模型（LLM）技术蓬勃发展的今天，许多开发者希望从零开始构建属于自己的 LLM，而不是仅仅依赖现有预训练模型。GitHub 上由 FareedKhan-dev 发布的开源项目train-llm-from-scratch 正是一个面向学习和实验用的端到端 LLM 训练管道，它实现了从数据下载、预处理、模型搭建、训练、评估到文本生成的完整流程。该项目使用 PyTorch 实现了 Transformer 语言模型，允许开发者在单 GPU 上训练百万级到十亿级参数规模的 LLM。

爱分享的飘哥

第六十六篇：AI模型的“口才”教练：Prompt构造策略与自动化实践在《训练链路与采集系统》的旅程中，我们已经学会了如何采集原始数据，并将其精加工成AI模型可消化的“食材”（如标注图像、抽帧视频、提取字幕）。

GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(二)本文试图分析程序结构和代码，解释序列转换生成模型的微调训练。为了篇幅不要过长，分两篇文章解读，本文解读训练代码。框架概述请看前篇文章：GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(一)

我是有底线的