大模型训练

Context Engineering要过时？AI圈新风口「Harness Engineering」，OpenAI/Anthropic齐发力原文: https://mp.weixin.qq.com/s/O_K5s6qjI7Kp_eOU_we4Fg 欢迎关注公zh: AI-Frontiers

Google 迎来「DeepSeek 时刻」：TurboQuant算法实现3bit无损、8×加速、6×压缩、零预处理原文: https://mp.weixin.qq.com/s/zI2GQhGkzWXPueg93_z5MA 欢迎关注公zh: AI-Frontiers

GLM技术复盘：21篇论文深度解读智谱模型家族原文: https://mp.weixin.qq.com/s/2KMaZPnLernKGLq2aLN_dQ 欢迎关注公zh: AI-Frontiers

万字长文解读Qwen进化史：27篇论文深度复盘Qwen模型家族原文: https://mp.weixin.qq.com/s/6tpV4YXl7EM14E7i0492dA 欢迎关注公zh: AI-Frontiers

从ResNet到mHC：DeepSeek重构残差连接，额外开销仅6.7%，附复现代码原文: https://mp.weixin.qq.com/s/ZuA3zSpVHo1-bGB2tQuRpg

3年，从0到全球领跑：万字长文拆解DeepSeek大模型技术演进原文: https://mp.weixin.qq.com/s/MG9nB7VYK-N4Q3RQFiwcuw

垂域大模型评估不再靠“感觉”：用结构化测试集+自动化打分实现效果可量化当前大模型在垂直领域的落地已从“能不能跑”进入“跑得好不好”的阶段。开发者普遍发现，微调一个模型或搭建一套RAG系统并不算最难，真正的瓶颈在于缺乏一套可靠、高效、可复现的评估机制。很多团队依赖人工试用，靠“感觉”判断模型是否变好，这种做法在初期或许可行，但一旦进入迭代优化阶段，主观判断无法支撑工程决策。尤其在企业场景中，业务文档高度专业化，通用评测集（如MMLU、C-Eval）覆盖不足，而人工构造高质量测试集成本极高。更棘手的是，模型可能在训练损失下降的同时，出现知识幻觉、逻辑断裂或通用能力退化等问题，这

收藏！LLM开发全链路：5大步骤+15大框架，从数据治理到RLHF一文通关原文：https://mp.weixin.qq.com/s/oRUjkoUcHOrMtHfVHkr5Cw

【人工智能】【大模型训练】② AI解剖室GPipe & PipeDream：解剖大模型训练的“卡顿病灶“场景：清晨的AI手术室，主刀医师正在检查一台"大模型训练机器"。诊断报告：“患者：大模型训练系统。症状：频繁卡顿、GPU利用率低、训练效率低下。诊断：流水线交通瘫痪。” 主刀医师：“我们决定进行‘流水线手术’，切除卡顿根源。”

小白也能看懂的LLM-RL算法：PPO/DPO/GRPO/GSPO原文: https://mp.weixin.qq.com/s/9KT9LrMTXDGHSvGFrQhRkg

学习是生活的调味剂

大模型训练技术总结前言：大模型训练技术总体上为预训练-》按目标与方法选择合适的微调方式。按目标与方法分有监督微调、基于人类反馈的强化学习、指令微调，常用技术实现即上文的全量微调和高效微调。

卫玠_juncheng

langchain1.0rag知识库项目分享:从数据清洗到模型微调的全方位教程一个基于 LangChain 1.0、RAG 和 ReAct Agent 的生产级法律 AI 项目这不仅仅是一个法律咨询系统，更重要的是，它是一个生产级别的 AI 工程项目范例，展示了如何在实际应用中整合：

2025秋招LLM大模型多模态面试题：110道大模型面试常见问题及答案，助你拿下AI工程师岗位！这个问题考察面试者对当前大模型生态的了解，包括如 Transformer-based 模型（如 BERT, GPT 系

九章云极AladdinEdu

大模型训练显存优化全方案：ZeRO、Offload与重计算技术对比当大语言模型的参数量从亿级迈向万亿级，我们面临的不再仅仅是算力瓶颈，更是显存墙的严峻挑战。训练一个1750亿参数的模型，仅存储FP32格式的参数、梯度和优化器状态就需要超过2TB的显存，这远远超过了当前最强单卡GPU的容量。如何在有限的硬件条件下突破显存限制，让普通研究机构和开发者也能参与大模型训练，成为了AI领域亟待解决的核心问题。

weixin_37763484

【COT】PromptCoT 2.0少样本训练 CoT字节与港大提出的 PromptCoT 2.0，在少样本、无强教师、无人工标注条件下，高效生成高质量 CoT（Chain-of-Thought）数据并训练模型。

如何高效微调大模型？LLama-Factory一站式解决方案全解析文较长，建议点赞收藏，以免遗失。更多AI大模型开发学习视频/籽料/面试题都在这>>Github<< >>Gitee<<

大模型训练框架：LLaMA-Factory框架随着大语言模型（LLM）的爆发式发展，越来越多开发者希望用自己的数据训练专属模型，比如：但问题来了：大模型动辄几十 GB，训练需要多卡 GPU，普通人根本玩不起？

汀、人工智能

AI-Compass LLM训练框架生态：整合ms-swift、Unsloth、Megatron-LM等核心框架，涵盖全参数/PEFT训练与分布式优化AI-Compass 致力于构建最全面、最实用、最前沿的AI技术学习和实践生态，通过六大核心模块的系统化组织，为不同层次的学习者和开发者提供从完整学习路径。

机器学习中的关键术语及其含义机器学习中的神经网络是一种模仿生物神经网络的结构和功能的数学模型或计算模型。它是指按照一定的规则将多个神经元连接起来的网络。

20_大模型微调和训练之-基于LLamaFactory+LoRA微调LLama3后格式合并GGUF 格式的全名为(GPT-Generated Unified Format)，提到 GGUF 就不得不提到它的前身 GGML(GPT-Generated Model Language)。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。