训练

Deepseek MLA CP通信AlltoAll长文本CP 切分，共2次All2All第一次AlltoAll，输入按Seq维度汇总，按Head维度切。（切输入，非TP维度的切参数）

大模型训练师的炼丹之道 (1)-最新版llama-factory环境搭建和全排错在人工智能的演进图谱中，大模型训练始终占据着技术金字塔的顶端。它不仅是AI Agent开发的上层建筑，更是当Agent应用发展到一定深度后，不可避免必须跨越的技术鸿沟。唯有掌握底层模型的塑造能力，才能真正突破通用能力的天花板。

大模型训练全景：从预训练到对齐的技术炼金术写在前面：如果你曾好奇 ChatGPT、DeepSeek 或 Claude 是如何从一堆代码变成能写诗、写代码、做推理的"智能体"，这篇文章将为你拆解那条从"原始文本"到"对齐模型"的完整流水线。无论你是刚入门的 AI 开发者，还是希望理解底层原理的技术管理者，读完这篇，你将对大模型训练的每个环节建立清晰的工程认知。

Flash Attention反向梯度优化显存前面我有文章介绍子Flash Attention 针对长序列的正向优化，而其反向算子（Backward Pass）的优化由于涉及到复杂的梯度重计算和显存权衡，往往比正向过程更具挑战性。

Unsloth Studio 使用问题记录离线环境，官方docker镜像,k8s环境使用手动下载源码https://github.com/ggml-org/llama.cpp传到unsloth内根据报错日志的路径，创建目录

AI训练产区图：GPU算力梯队与任务匹配指南，构建AI模型训练中的一线/二线算力资源标准图谱目录一、 AI 训练算力资源标准图谱二、任务匹配与算力效能指南1. 预训练阶段 (Pre-training) —— “算力黑洞”

03-深度学习基础：训练技巧训练检查清单：

Qwen2.5-7B 指令（LoRA）微调完整实战指南最近很多朋友问我，手上有一批历史运维工单数据和文件，想做一个专属的智能运维助手，能自动分析问题给出解决方案，不知道从何下手。其实这个场景非常适合做LoRA指令微调，而且现在整个流程已经非常成熟，在24GB显存的A30显卡上就能完整跑通。

大模型训练CP切分（与TP、SP结合）一. CP并行原理megatron中的context并行(简称CP)与sequence并行(简称SP)不同点在于，SP只针对Layernorm和Dropout输出的activation在sequence维度上进行切分，CP则是对所有的input输入和所有的输出activation在sequence维度上进行切分，可以看成是增强版的SP。之前我有篇文章重点讲了TP、SP、EP技术。本文我讲下长文本的CP技术，以及怎么和TP和SP结合的。

《VLA 系列》π0 与 π0.5 | 强化学习训练 | VLA本文分享使用 RLinf 框架对 π₀ 和π₀.₅ 进行强化学习微调。支持PPO和GRPO等强化学习算法。

零样本学习（Zero-Shot Learning, ZSL）补充零样本学习（Zero-Shot Learning, ZSL）是一种机器学习范式，它允许模型在没有任何特定任务的标注数据的情况下，通过利用已有的知识来推断和完成新任务。这种能力对于处理罕见类别或快速适应新环境非常重要，因为在这些情况下获取大量标注数据可能是不切实际的。这种学习方式对于处理现实世界中标签数据稀缺的问题尤为重要。

垂域大模型评估不再靠“感觉”：用结构化测试集+自动化打分实现效果可量化当前大模型在垂直领域的落地已从“能不能跑”进入“跑得好不好”的阶段。开发者普遍发现，微调一个模型或搭建一套RAG系统并不算最难，真正的瓶颈在于缺乏一套可靠、高效、可复现的评估机制。很多团队依赖人工试用，靠“感觉”判断模型是否变好，这种做法在初期或许可行，但一旦进入迭代优化阶段，主观判断无法支撑工程决策。尤其在企业场景中，业务文档高度专业化，通用评测集（如MMLU、C-Eval）覆盖不足，而人工构造高质量测试集成本极高。更棘手的是，模型可能在训练损失下降的同时，出现知识幻觉、逻辑断裂或通用能力退化等问题，这

小北的AI科技分享

人工智能大模型：从技术突破到人机交互重塑当前科技领域里，人工智能大模型属于极具革命性的技术突破当中的一个，这些模型借助在海量数据之上开展训练，从而获取了理解、生成以及处理人类语言还有其他类型信息的能力，自2020年GPT - 3发布开始直至如今各类多模态模型出现，大模型技术正以令人惊叹的速度重塑着人机交互的方式。

【深度学习02】YOLO模型的数据集、训练、验证、预测、导出目录一、数据集1.1、第一种结构（YOLOv5风格）1.2、第二种结构（YOLOv8风格）1.3、两种结构的本质区别

数据不够代码凑？用 Albumentations 让你的 AI 模型“看”得更广，训练快 10 倍！作为一名 CV 算法工程师，你一定经历过这种绝望：老板丢给你 100 张产品瑕疵照片，让你训练一个准确率 99% 的检测模型。你看着那少得可怜的数据，内心在咆哮：“这肯定会过拟合（Overfitting）啊！模型根本学不到特征，只会死记硬背！”

其美杰布-富贵-李

PyTorch Optimizer 与 Scheduler 指南在深度学习训练中，学习率（Learning Rate）是最重要的超参数之一。固定学习率的局限：训练曲线示意：

其美杰布-富贵-李

数据清理与特征工程完整指南在机器学习和深度学习项目中，数据预处理通常占据 60-80% 的时间，这是因为：原始数据往往不可直接使用

拒绝“狗熊掰棒子”！用 EWC (Elastic Weight Consolidation) 彻底终结 AI 的灾难性遗忘想象一下，你训练了一个神经网络来识别手写数字（MNIST），准确率高达 99%。接着，你希望能复用这个聪明的脑子，让它继续学习识别时尚单品（Fashion-MNIST）。

别再迷信“准确率”了！一文读懂 AI 图像分割的黄金标尺 —— Dice 系数想象这样一个痛点场景：你正在训练一个 AI 模型，任务是从脑部核磁共振（MRI）扫描中找出极小的肿瘤区域。你熬夜跑完代码，发现模型在验证集上的 Accuracy（准确率）高达 99.9%！

告别样本不平衡噩梦：Focal Loss 让你的模型学会“划重点”你是否遇到过这种令人抓狂的场景？你在训练一个癌症检测模型，数据集中 99% 都是健康样本（负样本），只有 1% 是患病样本（正样本）。你满怀期待地跑完训练，发现模型的准确率（Accuracy）高达 99%！