大模型训练

从ResNet到mHC：DeepSeek重构残差连接，额外开销仅6.7%，附复现代码原文: https://mp.weixin.qq.com/s/ZuA3zSpVHo1-bGB2tQuRpg

3年，从0到全球领跑：万字长文拆解DeepSeek大模型技术演进原文: https://mp.weixin.qq.com/s/MG9nB7VYK-N4Q3RQFiwcuw

垂域大模型评估不再靠“感觉”：用结构化测试集+自动化打分实现效果可量化当前大模型在垂直领域的落地已从“能不能跑”进入“跑得好不好”的阶段。开发者普遍发现，微调一个模型或搭建一套RAG系统并不算最难，真正的瓶颈在于缺乏一套可靠、高效、可复现的评估机制。很多团队依赖人工试用，靠“感觉”判断模型是否变好，这种做法在初期或许可行，但一旦进入迭代优化阶段，主观判断无法支撑工程决策。尤其在企业场景中，业务文档高度专业化，通用评测集（如MMLU、C-Eval）覆盖不足，而人工构造高质量测试集成本极高。更棘手的是，模型可能在训练损失下降的同时，出现知识幻觉、逻辑断裂或通用能力退化等问题，这

收藏！LLM开发全链路：5大步骤+15大框架，从数据治理到RLHF一文通关原文：https://mp.weixin.qq.com/s/oRUjkoUcHOrMtHfVHkr5Cw

【人工智能】【大模型训练】② AI解剖室GPipe & PipeDream：解剖大模型训练的“卡顿病灶“场景：清晨的AI手术室，主刀医师正在检查一台"大模型训练机器"。诊断报告：“患者：大模型训练系统。症状：频繁卡顿、GPU利用率低、训练效率低下。诊断：流水线交通瘫痪。” 主刀医师：“我们决定进行‘流水线手术’，切除卡顿根源。”

小白也能看懂的LLM-RL算法：PPO/DPO/GRPO/GSPO原文: https://mp.weixin.qq.com/s/9KT9LrMTXDGHSvGFrQhRkg

学习是生活的调味剂

大模型训练技术总结前言：大模型训练技术总体上为预训练-》按目标与方法选择合适的微调方式。按目标与方法分有监督微调、基于人类反馈的强化学习、指令微调，常用技术实现即上文的全量微调和高效微调。

卫玠_juncheng

langchain1.0rag知识库项目分享:从数据清洗到模型微调的全方位教程一个基于 LangChain 1.0、RAG 和 ReAct Agent 的生产级法律 AI 项目这不仅仅是一个法律咨询系统，更重要的是，它是一个生产级别的 AI 工程项目范例，展示了如何在实际应用中整合：

2025秋招LLM大模型多模态面试题：110道大模型面试常见问题及答案，助你拿下AI工程师岗位！这个问题考察面试者对当前大模型生态的了解，包括如 Transformer-based 模型（如 BERT, GPT 系

九章云极AladdinEdu

大模型训练显存优化全方案：ZeRO、Offload与重计算技术对比当大语言模型的参数量从亿级迈向万亿级，我们面临的不再仅仅是算力瓶颈，更是显存墙的严峻挑战。训练一个1750亿参数的模型，仅存储FP32格式的参数、梯度和优化器状态就需要超过2TB的显存，这远远超过了当前最强单卡GPU的容量。如何在有限的硬件条件下突破显存限制，让普通研究机构和开发者也能参与大模型训练，成为了AI领域亟待解决的核心问题。

weixin_37763484

【COT】PromptCoT 2.0少样本训练 CoT字节与港大提出的 PromptCoT 2.0，在少样本、无强教师、无人工标注条件下，高效生成高质量 CoT（Chain-of-Thought）数据并训练模型。

如何高效微调大模型？LLama-Factory一站式解决方案全解析文较长，建议点赞收藏，以免遗失。更多AI大模型开发学习视频/籽料/面试题都在这>>Github<< >>Gitee<<

大模型训练框架：LLaMA-Factory框架随着大语言模型（LLM）的爆发式发展，越来越多开发者希望用自己的数据训练专属模型，比如：但问题来了：大模型动辄几十 GB，训练需要多卡 GPU，普通人根本玩不起？

汀、人工智能

AI-Compass LLM训练框架生态：整合ms-swift、Unsloth、Megatron-LM等核心框架，涵盖全参数/PEFT训练与分布式优化AI-Compass 致力于构建最全面、最实用、最前沿的AI技术学习和实践生态，通过六大核心模块的系统化组织，为不同层次的学习者和开发者提供从完整学习路径。

机器学习中的关键术语及其含义机器学习中的神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。它是指按照一定的规则将多个神经元连接起来的网络。

20_大模型微调和训练之-基于LLamaFactory+LoRA微调LLama3后格式合并GGUF 格式的全名为(GPT-Generated Unified Format)，提到 GGUF 就不得不提到它的前身 GGML(GPT-Generated Model Language)。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。

解码未来：大语言模型训练与推理的双螺旋进化之路训练始于海量数据的"营养摄入"。如同厨师需要收集世界各地的菜谱才能成为米其林主厨，谷歌BERT模型在预训练阶段吞下了800万网页文本、维基百科全集和30亿个英文句子。这些数据经过清洗、标注和分词处理，形成模型学习的"食材库"。某医疗AI公司为训练癌症诊断模型，收集了100万张标注CT影像，每张标注耗时2.3小时——这相当于让100个医生连续工作3年。数据质量决定模型的"食谱"丰富度，正如米其林餐厅对食材产地的苛求。

从BERT到ChatGPT：大模型训练中的存储系统挑战与技术发展——论文泛读计算机研究与发展 2024 Paper 论文阅读笔记整理以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越，但大模型的参数量在3年内增长数万倍，且仍呈现增长的趋势。大模型训练面临存储挑战，存储需求大，且具有独特的计算模式、访存模式、数据特征，这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下，且容错开销大。

【DeepSeek-R1训练笔记】随手记录一些训练log训练400个stepwandb file：run-20250207_161945-1oftdu9qmain_grpo.sh脚本配置如下：

爱喝白开水a

Speckly：基于Speckle文档的RAG智能问答机器人Speckly 是一个基于检索增强生成 (RAG) 技术的智能问答机器人，它能像一位经验丰富的工程师，理解你的问题，并从 Speckle 文档中精准地找到答案。更厉害的是，它甚至可以帮你生成代码片段！🚀