sft

27届大模型面试准备（十六）：后训练全攻略——SFT、RLHF、DPO、PPO 一次讲透上一篇《高效推理全攻略》讲的是"怎么让模型推理又快又省"，属于部署侧。这一篇回到训练侧，把"预训练之后的所有事"——也就是后训练（Post-Training）——一次性讲透。覆盖 SFT、Reward Model、RLHF（PPO）、DPO 四条主线，外加一条工程副线（数据配方、课程学习、拒绝采样）。每节都给：原理 → 数学/算法骨架 → 代码片段 → 面试速答 + 高频追问。配合《LoRA/PEFT》（候选 A18）一起看，刚好串成"对齐怎么做、怎么省显存做"。

夫唯不争，故无尤也

从DeepSeek-R1-Distill中学习蒸馏技术前言：deepseek中蒸馏主要通过强的teacher模型构建高质量推理数据集对参数模型进行SFT，随后再加上DPO加强模型偏好，约束模型输出格式，最后可以通过RL加强模型推理能力。

【系统学AI】03 LLM训练全流程：预训练→SFT→对齐五条路线一个LLM从"一堆随机参数"变成"ChatGPT那样能用"，要经过三个阶段。这篇文章把三步全部讲透——前两步定义清楚、流程画清楚、成本算清楚，重点拆解第三步（对齐训练）在2026年已经分化出的5条路线。

大模型训练师的炼丹之道 (1)-最新版llama-factory环境搭建和全排错在人工智能的演进图谱中，大模型训练始终占据着技术金字塔的顶端。它不仅是AI Agent开发的上层建筑，更是当Agent应用发展到一定深度后，不可避免必须跨越的技术鸿沟。唯有掌握底层模型的塑造能力，才能真正突破通用能力的天花板。

带有embeding 同时训练的Lora 权重合并，合并后的权重的模型，再训练数的Loss 突然增加

AI核心知识119—大语言模型之监督微调（简洁且通俗易懂版）监督微调 (Supervised Fine-Tuning, 简称 SFT) 是把大语言模型从一个“野生学霸” 变成“全能助理” 的第一道关键工序。

爱听歌的周童鞋

斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Assignment 5: SFT Implement在上篇文章斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Assignment 5: SFT 中，我们已经了解了 SFT 的作业要求，下面我们就一起来看看这些作业该如何实现，本篇文章记录 CS336 作业 Assignment 5: Alignment 中的 SFT 实现，仅供自己参考😄

强化学习与思维链一. 强化学习1.SFT与强化学习2.RM（奖励模型）ORM（结果奖励）：标注困难，成本高PRM（过程奖励）：简单，但存在结果对，过程错的情况。

【LLM微调】拒绝“假装聪明”：SFTTrainer 中 completion_only_loss 新旧版本用法详解在指令微调（SFT）大模型时，你是否遇到过：训练 Loss 迅速降到 0.0x，准确率飙升到 99%，但模型实际推理效果却很差？

赋范大模型技术社区

大模型训练的“最后一公里”：为什么强化学习（RL）不可或缺？训练一个出色的大语言模型（LLM），如同培养一个孩子从呱呱坠地到成长为社会精英，需要经历循序渐进的几个核心阶段。我们可以将其类比为一个人的成长历程：

AI入门知识之RAFT方法：基于微调的RAG优化技术详解图片来源网络RAFT（Retrieval-Augmented Fine-Tuning，检索增强微调）是一种结合检索增强生成（RAG）与监督微调（SFT）的新型训练方法，旨在提升大型语言模型（LLM）在特定领域RAG任务中的性能。其核心目标是通过模拟“不完美检索环境”（即训练数据中包含相关文档与干扰文档），让模型学会识别并利用有效文档，同时忽略无关干扰，从而在真实RAG场景中生成更准确、可靠的答案。

【学习笔记更新中】Deeplearning.AI 大语言模型后训练：微调与强化学习导论在构建LLM Agent应用的征程中，我们都可能遇到过这样的困境：尽管尝试了精妙的提示词工程（Prompt Engineering）、更换了更强大的模型提供商，甚至将复杂任务进行了拆解，但LLM组件就是不“work”。

如何在云服务器上使用LLaMA Factory框架微调模型LLaMA Factory是一款开源低代码大模型微调框架，集成了业界广泛使用的微调技术，支持通过Web UI界面零代码微调大模型。本文以DeepSeek-R1-Distill-Qwen-14B模型为例，介绍如何使用云平台（这里以阿里云平台为例，其他平台区别不大）及LLaMA Factory训练框架，完成模型的中文化微调和评估，以及为评估后的合并和本地模型注册ollama的方法。

大熊猫侯佩

苹果 AI 探秘：代号 “AFM” —— “温柔的反叛者”锡安指挥中心的全息投影闪烁着幽蓝光芒，凯 —— 尼奥消失后新一代 “接口者”，指尖还沾着刚从矩阵抽离时残留的代码微光。

汀、人工智能

AI-Compass LLM训练框架生态：整合ms-swift、Unsloth、Megatron-LM等核心框架，涵盖全参数/PEFT训练与分布式优化AI-Compass 致力于构建最全面、最实用、最前沿的AI技术学习和实践生态，通过六大核心模块的系统化组织，为不同层次的学习者和开发者提供从完整学习路径。

AI方案调研与实践二：模型训练目录1. 说明1.1 模型训练方式的选择1.2 训练流程1.3 LLM与数据结合的方式RAG（检索增强⽣成）

程序员老周666

3. OpenManus-RL中使用AgentGym建立强化学习环境AgentGym是为评估和开发大模型agent而设计的支持多环境和多任务的框架。该框架统一采用ReAct格式，提供多样化的交互环境和任务，支持实时反馈和并发操作。

【LLaMA-Factory】使用LoRa微调训练DeepSeek-R1-Distill-Qwen-7B如果不禁用开源驱动，直接安装nvidia-smi，会安装失败，在日志文件/var/log/nvidia-installer.log中会出现以下错误信息 ERROR: Unable to load the kernel module 'nvidia.ko'

第12章微调生成模型在本章中，我们将以一个预训练文本生成模型为例，详细讲解微调（fine-tuning）的完整流程。微调是生成高质量模型的关键步骤，也是我们工具包中用于将模型适配到特定预期行为的重要工具。通过微调，我们可以让模型适配特定的数据集或领域。

探索云原生

大模型微调实战：通过 LoRA 微调修改模型自我认知本文主要分享如何使用 LLaMAFactory 实现大模型微调，基于 Qwen1.5-1.8B-Chat 模型进行 LoRA 微调，修改模型自我认知。