微调

【LLM技术全景】预训练与微调：大模型如何“学习“摘要：本文是《LLM技术全景：从Token到部署》系列第四篇。大语言模型之所以强大，核心在于"预训练+微调"的两阶段范式。预训练让模型在海量无标注文本中学习语言的一般规律，微调则让模型学会遵循指令、匹配人类偏好。本期将深入解析预训练的技术原理（Next Token Prediction、语料选择、训练动态）、SFT有监督微调的核心技巧，以及RLHF/DPO等对齐技术的工作机制。配图将展示大模型训练的完整pipeline，帮助读者理解从"语言模型"到"助手"的技术跃迁。

30｜什么时候需要 RAG：直接 Prompt/微调/RAG 的决策欢迎来到卷 4：知识与数据。在前面的章节里，我们赋予了 AI 思考的框架（Prompt）和行动的手脚（MCP/Skills）。但如果现在你问 AI：“咱们公司昨天发布的新产品，退款政策是什么？”它一定会胡编乱造。为什么？因为它脑子里只有它被“训练”时（通常是一年甚至更久以前）互联网上的公开数据，它完全不知道你们公司的内部机密和最新动态。

RAG学习笔记(2):关于rag和模型微调,同一个问题它们分别怎么处理好家伙,今天我们来聊一个很容易混在一起的问题:这两个东西看起来都能让大模型回答得更贴近业务.但它们解决的问题其实不一样.

大模型训练师的炼丹之道 (1)-最新版llama-factory环境搭建和全排错在人工智能的演进图谱中，大模型训练始终占据着技术金字塔的顶端。它不仅是AI Agent开发的上层建筑，更是当Agent应用发展到一定深度后，不可避免必须跨越的技术鸿沟。唯有掌握底层模型的塑造能力，才能真正突破通用能力的天花板。

开源 vs 闭源：构建Agent该如何选择基座模型？“当你为Agent选择基座模型时，你不仅在选择一个‘大脑’，更是在选择成本曲线、隐私边界、可控程度和进化速度。开源与闭源早已不是宗教之争，而是一道需要精密计算的工程决策题。在2026年Agent全面落地的今天，这道题的答案比任何时候都更复杂。”

人工智能【第26篇】大模型应用实战：Prompt工程与微调技巧作者的话：在前面的文章中，我们学习了GPT等大语言模型。然而，拥有强大的模型只是第一步，如何有效地使用这些模型才是真正的挑战。本文将深入讲解Prompt工程（提示工程）和微调技巧，帮助你从"会用"大模型进阶到"用好"大模型！

【跟李沐学AI】24 狗的品种识别（ImageNet Dogs）本章内容与上一章节的图像分类任务（CIFAR-10）相近，主要区别在于：① 图像数据更复杂，多样性更大，图像增广处理不一致；② 使用预训练的模型，并采用冻结微调策略； ③ 预测的输出不再是类别，而是一个包含所有类别预测概率的向量。

【学习笔记】大模型微调实战指南作为AI工程师，掌握大模型微调是落地垂直领域应用的核心技能。毕竟通用大模型无法覆盖企业私有知识、行业专属场景，而微调能让模型快速适配特定需求。

Unsloth微调实战：用LoRA技术打造专属文言文翻译模型在大语言模型（LLM）飞速发展的今天，如何利用有限的显卡资源高效完成模型微调，成为了众多开发者和研究者关注的焦点。Unsloth 作为一款新兴的模型训练加速框架，通过优化显存占用和训练速度，让普通开发者也能在消费级GPU上完成高质量的模型微调工作。本文将以文言文翻译任务为实战案例，手把手教您搭建完整的Unsloth微调环境，并完成从环境配置到模型推理的全流程操作。

RAG智慧问答项目核心技术：Python+LangChain+Milvus+BGE-M3+BGE-Reranker-Large+bert-base-chinese微调+Qwen2.5-14B (INT8)+光明AI大模型+PaddleOCR+MySQL+Redis+FastAPI+Docker+Vue3+Typescript

Java后端的Ai之路

什么是“多模态微调”？对了，分享一个我最近常看的AI人工智能学习渠道，讲得挺有章法的，不端着也不故弄玄虚。不感兴趣划走就行，感兴趣的可以自己去验证一下。

LoRA 面试完全指南：低秩分解原理 + Transformer 应用关键词：LoRA、低秩分解、参数高效微调、PEFT、TransformerLoRA（Low-Rank Adaptation）是一种参数高效微调方法，通过在预训练模型旁注入可训练的低秩分解矩阵，大幅减少需要训练的参数数量。

大模型Prompt-Tuning技术详解：从入门到进阶一文读懂NLP范式演进、Fine-Tuning与Prompt-Tuning的核心原理随着ChatGPT、GPT-4等大模型的爆火，Prompt-Tuning技术逐渐成为学术界和工业界关注的焦点。本文将系统介绍NLP任务的四种发展范式，深入剖析Fine-Tuning和Prompt-Tuning的核心原理，并带你了解面向超大规模模型的先进微调技术。

【李沐 | 动手学深度学习】 21 计算机视觉：微调目录前言网络架构为什么要进行微调？1 微调详解1.1 微调的核心步骤1.2 常用的微调策略2 代码实现

Unsloth Studio 使用问题记录离线环境，官方docker镜像,k8s环境使用手动下载源码https://github.com/ggml-org/llama.cpp传到unsloth内根据报错日志的路径，创建目录

昇腾Ascend环境微调部署Qwen3（LlamaFactory+vLLM-Ascend）环境介绍：GitCode：实例：NPU basic · 1 * NPU 910B · 16v CPU · 64GB

MiniMind 第 4 篇：《数据工程｜Tokenizer 训练 + 预训练 / SFT/DPO 全数据集处理》承接上一篇内容：我们拆解了 MiniMind 底层核心架构，吃透了 RMSNorm、SwiGLU、RoPE 三大组件的工程实现与优化逻辑。现在，终于轮到 LLM 最关键的「粮草」—— 数据工程。

博士僧小星

人工智能|大模型——训练——大模型微调全栈指南：从Transformer架构、10+种PEFT原理、流程与实战（全网最详细）本文是一份面向工程落地的大模型参数高效微调（PEFT）深度技术指南。全文覆盖：① 大模型“预训练→微调”两阶段范式本质；② Transformer 架构中各 PEFT 方法的作用位置与数学原理；③ LoRA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1、P-Tuning v2 共 7 种主流方法的完整技术解构（含公式、结构图示逻辑、参数量级、实证效果）；④ 从 PDF 文档→Markdown→QA 数据集→微调训练→监控部署的端到

发光的叮当猫

AI工程可能会遇到的一些问题1，检索质量太差，根本没有检索到正确内容原因：embedding不行，相似度算错，语义没对齐。query没有被改写，完全没有上下文，检索失败。

LLM--SFT简介SFT，监督微调，指在预训练模型的基础上，通过有标注的数据进行下一步训练，使其称为在特定任务上表现良好。