AI学习笔记整理（56）——大模型微调

训练大语言模型（LLM）主要分为三个核心阶段：

1. 预训练：从海量数据集中学习，形成基础模型。
2. 监督微调（SFT）：通过精心挑选的示例优化模型，使其更实用。
3. 强化学习（Reinforcement Learning，RL）：与监督微调（SFT）不同，SFT依赖人类专家提供的标签数据，而RL则允许模型从自身的学习中进步。让模型在那些导致更好结果的token序列上进行训练，允许模型从自身的经验中学习。模型不再仅仅依赖显式标签，而是通过探索不同的token序列，并根据哪些输出最有用来获得反馈（奖励信号）。随着时间的推移，模型学会了更好地与人类意图对齐。

大模型预训练和微调的区别

大模型预训练和微调的核心区别在于目标、数据规模与类型、计算资源需求及输出结果：预训练是通用基础能力构建，微调是特定任务适配优化。 具体差异如下：

1. 目标与作用‌。

• 预训练‌：在海量通用数据（如互联网文本）上学习语言基础规律（语法、常识等），形成通用模型（如GPT-3），为下游任务提供泛化能力。‌‌
• 微调‌：在预训练模型基础上，用特定领域数据（如医疗、法律）优化模型，提升任务精度（如情感分析准确率从60%→90%）。‌‌

2. 数据要求‌。

• 预训练‌：需TB级无标注数据（如全网文本），依赖自监督学习（如预测被遮挡词）。‌‌
• 微调‌：仅需万级有标注数据（如带标签的评论），任务导向性强。‌‌

3. 资源与成本‌。

• 预训练‌：消耗数千GPU集群，训练耗时数周，成本极高。‌‌
• 微调‌：单GPU即可完成，耗时短，成本低。‌‌

4. 参数调整‌。‌

• 预训练‌：更新全部参数（数十亿至万亿级）。‌‌
• 微调‌：通常仅调整部分参数（如最后几层或LoRA模块）。‌‌

5. 输出结果‌。

• 预训练‌：生成基础模型（如LLaMA），可零样本处理多任务但精度有限。‌‌
• 微调‌：产出任务专用模型（如金融问答模型），在特定场景精度显著提升。‌‌

微调（Fine-tuning）

大模型是怎么来的？其实就是预训练来的，包括现在的 GPT、Deepseeker 这些大模型。通过海量通用数据来训练模型，让模型具有掌握语法、常识和基础语义。

预训练的成本是巨高的，首先需要有海量数据（TB 级），然后还需要极高的算力，进行长时间的模型训练，基本上只有大厂才能玩得起。

而微调，是在预训练模型的基础上，用特定领域或任务的数据调整模型参数，使其适应具体场景（如医疗问答、法律文本分析）。

相比于预训练，他只需要少量的数据（MB～GB 级），相对的训练算力也会低很多。可以说预训练的目的是获得一个通用模型，而微调的目的是获得一个专用模型。

其实，我们常用的提示词，也可以算作是微调的一种，只不过他相对简单，并不需要调整模型参数来完成，目的是让模型能够更好的回答我们的问题，所以有一种微调叫做 Prompt Tuning。

随着模型规模变大，完整微调（也叫全参）成本也变高，出现了很多轻量级微调方式：

1. LoRA（Low-Rank Adaptation）
2. PEFT（Parameter-Efficient Fine-Tuning）
3. Adapter、Prefix Tuning
4. 指令微调（Instruction Tuning）
5. RLHF（人类反馈强化学习）

技术原理

微调是指在预训练模型的基础上，使用特定任务的数据对模型进行进一步训练。具体步骤如下：

• 预训练模型：使用大规模通用数据（如维基百科、书籍等）训练一个基础模型（如GPT、BERT等）。
• 任务特定数据：准备与目标任务相关的标注数据。
• 微调训练：在预训练模型的基础上，使用任务特定数据对模型参数进行更新，使其适应目标任务。

微调适用于以下场景：

• 特定领域任务：如医疗、法律、金融等领域，需要模型具备领域专业知识。
• 特定任务优化：如情感分析、命名实体识别、机器翻译等，需要模型在特定任务上表现优异。
• 数据充足的情况：微调需要一定量的标注数据，因此在数据充足时效果更好。

微调与全量训练的区别

在机器学习领域，特别是大模型应用中，"微调"和"全量训练"是两种不同的模型优化策略，它们在目标、成本和适用场景上存在显著差异。

• 微调（Fine-tuning）‌：指在‌预训练模型‌的基础上，使用特定任务的小规模数据集进行进一步训练，以调整模型参数，使其更好地适应新任务。 ‌‌

  • 核心思想‌：利用预训练模型已学习到的通用知识（如语言规律），仅需少量特定领域数据即可完成"专项培训"，实现能力跃迁。 ‌
  • 主要优势‌：‌数据成本低‌（通常仅需数千至数万条数据）、‌计算成本低‌（可在单张消费级GPU上完成）、‌时间成本短‌（数小时至数天）。 ‌
  • 主流方法‌：包括全量微调、冻结层微调以及轻量化微调（如LoRA、QLoRA）。其中，LoRA等轻量化方法通过引入低秩矩阵，仅更新少量参数，已成为资源受限场景下的主流选择。 ‌‌
  • 典型应用‌：将通用大模型适配到医疗病历分析、金融风控、电商推荐等垂直领域。 ‌

• 全量训练（Full Training）‌：指‌从零开始‌训练一个模型，使用海量数据和计算资源进行完整的前向传播与反向传播优化。 ‌

  • 核心思想‌：不依赖任何预训练权重，完全从随机初始化开始学习模型参数。 ‌
  • 主要劣势‌：‌数据需求巨大‌（需亿万级别标注数据）、‌计算资源消耗极高‌（需数十至上百张高端GPU）、‌训练周期漫长‌（可能长达数周）。 ‌
  • 适用场景‌：通常仅在拥有超大规模数据集和顶尖计算资源的机构（如大型科技公司）中，为构建全新的、与现有模型差异极大的基础模型时采用。 ‌

‌核心区别总结‌：微调是"站在巨人肩膀上"进行高效定制，而全量训练是"从无到有"地重新建造。前者以极低成本实现模型能力的定向提升，是当前大模型落地应用的主流方案；后者则是一种资源密集型的"基础建设"行为。 ‌

微调在不同领域的应用案例

微调技术通过在预训练模型基础上，使用特定领域的少量数据进行针对性训练，使模型快速适应专业任务，已在多个领域实现落地应用。 ‌

• 自然语言处理领域‌：
  • 智能客服‌：微调通用语言模型，使其理解特定行业的术语和常见问题，例如为银行客服提供贷款政策咨询，或为电商平台处理订单查询，提升回答准确性和效率。 ‌‌
  • 法律文书分析‌：基于法律文本预训练的模型，通过微调学习合同条款、判决书等专业文档的结构和语义，辅助法律工作者进行风险审查或案例检索。 ‌
  • 医疗健康‌：在医学文本模型上微调，用于电子病历分析、疾病诊断建议或医学问答系统，例如帮助医生快速提取患者病史关键信息。 ‌‌
• 计算机视觉领域‌：
  • 工业质检‌：利用预训练的图像识别模型（如ResNet），微调后检测产品缺陷，例如在电子制造中识别电路板焊点异常，提高质检自动化水平。 ‌
  • 医学影像辅助诊断‌：基于医学影像数据集微调模型，辅助放射科医生分析X光、CT或病理切片，识别肿瘤、骨折等病变，如区分"健康皮肤"与"病变皮肤"的分类任务。 ‌‌
  • 安防监控‌：微调模型用于工地安全帽佩戴检测、人脸识别或异常行为识别，增强现场安全管控。 ‌
• 其他领域‌：
  • 金融风控‌：微调模型分析用户交易数据，识别欺诈行为或评估信用风险。 ‌
  • 教育‌：构建个性化学习助手，微调后能解答特定学科问题或生成练习题。 ‌
  • 自动驾驶‌：微调感知模型，提升对复杂交通场景（如施工区域）的识别能力。

如何选择微调任务和数据

在微调大模型时，选择合适的微调任务和数据是决定模型性能的关键第一步。这需要根据你的具体目标和可用资源来综合判断。

如何选择微调任务

微调任务应与你的最终应用场景高度一致。核心原则是：‌让模型学习它在实际使用中需要完成的特定能力‌。常见的任务类型包括：

• 文本生成‌：如撰写邮件、创作故事、生成代码摘要等。如果你希望模型能帮你自动回复客户咨询，那么"客服对话生成"就是一个明确的任务。
• 指令遵循‌：模型需要准确理解和执行自然语言指令。例如，让模型根据"总结这篇文章"或"将这段话翻译成法语"等指令产生相应输出。‌
• 分类与判断‌：包括情感分析（判断评论是正面还是负面）、垃圾邮件检测、意图识别等。如果你需要自动筛选用户反馈，情感分类任务就非常适用。‌
• 问答系统‌：训练模型基于给定的上下文或知识库来回答问题，适用于构建专业的FAQ机器人或知识助手。
• 语义理解与匹配‌：如判断两个句子的语义是否相似，用于搜索引擎优化或推荐系统。
  ‌
  选择建议‌：明确你的业务痛点或用户需求，将需求转化为一个具体的、可衡量的NLP任务。避免任务定义过于宽泛，例如与其说"让模型更聪明"，不如说"让模型能准确识别用户关于订单状态的查询"。

如何选择微调数据

高质量、与任务高度相关的数据是微调成功的基础。选择数据时需关注以下几点：‌

• 相关性‌：数据必须与你选择的微调任务紧密相关。例如，微调一个客服问答模型，使用科技论坛的对话数据就远不如使用你公司历史客服记录的数据有效。

• 质量‌：数据应准确、无噪声、无偏见。低质量的标注数据（如错误的标签、模糊的指令）会引导模型学习错误的模式。

• 数量‌：数据量需求取决于任务复杂度和微调方法。对于简单的任务（如二元分类），可能几百到几千条高质量样本就足够；对于复杂的生成任务，可能需要数万条数据。如果数据量有限，可以考虑使用‌LoRA‌等参数高效微调方法，它们对数据量的需求相对较低。

• 格式‌：数据需要被整理成模型训练工具支持的格式。以常用的LLaMA-Factory工具为例，数据通常需要是JSON格式，每条样本包含instruction（指令）、input（输入上下文，可选）和output（期望输出）三个字段。‌

• 来源‌：可以使用公开数据集（如Alpaca数据集用于指令遵循），但‌领域特定的私有数据‌通常能带来最大的性能提升。如果缺乏数据，可以考虑通过数据增强（如同义词替换、改写）或人工标注来扩充。

  ‌

  总结来说‌，选择微调任务和数据是一个"自顶向下"的过程：先定义清晰的业务目标（任务），再围绕这个目标收集和构建最贴切的数据集。一个精准但数据量小的任务，往往比一个宏大但数据粗糙的任务更容易取得成功。‌

微调的效果评估方法

参考链接：https://blog.csdn.net/longtengzhangjie/article/details/155310986
https://zhuanlan.zhihu.com/p/1995897675359478375

微调后的大模型效果评估需要结合具体任务和业务场景，采用多维度的方法，不能仅依赖单一指标。以下是当前主流的评估方法体系：

一、核心评估方法

1‌. 基于指标的自动评估‌：适用于有明确标准答案或参考答案的任务。

• 文本相似度指标‌：如 BLEU、ROUGE、METEOR，通过计算模型生成文本与人工参考文本之间的词汇重叠度来评估质量，常用于摘要、翻译等生成任务。‌
• 确定性评估‌：对于判断题、单选题等答案固定的任务，可直接计算模型回答的准确率、精确率、召回率等。‌

‌2. 基于模型的语义评估 (LLM as a Judge)‌：对于开放式问答等无固定答案的任务，使用一个更强大的模型（如 GPT-5）作为裁判，根据预设的评分细则对微调模型的输出进行打分。这种方法的关键在于设计高质量的评估 Prompt。‌

‌3. 人工评测‌：由领域专家或标注人员对模型输出的质量进行人工打分，评估其准确性、流畅性、有用性等。这是评估的"黄金标准"，尤其在垂直领域，但成本高昂，难以大规模应用。‌

二、进阶与系统性评估方法

1‌. 构建多维度评估框架‌：

• 基础能力层‌：评估模型的语言理解与生成能力（如困惑度 PPL）。
• 任务性能层‌：直接评估模型在具体业务任务上的表现（如工单分类准确率、维修建议的相关性）。‌‌
• 业务价值层‌：最终评判标准是模型是否带来了实际效益，如提升效率、降低成本、提高客户满意度等。‌

‌2. 对抗性评估‌：构造边界案例、包含错别字或口语化的输入，测试模型的鲁棒性和泛化能力。‌

3.消融实验‌：通过对比不同微调策略（如全参数微调 vs LoRA）、是否加入行业术语词典、不同数据量等，分析各因素对模型性能的影响。‌

4‌. 在线 A/B 测试‌：在真实业务环境中，将微调后的模型与旧系统（如规则引擎或人工处理）进行分流对比，监测核心业务指标（如处理时长、解决率）的差异，这是验证业务价值的最直接方式。‌

‌5. 可解释性分析‌：使用 LIME、SHAP 等工具或可视化注意力权重，理解模型做出特定判断的依据，确保其决策逻辑合理，关注了关键信息。‌

三、关键实践建议

• 必须建立基线‌：与未微调的模型、现有的规则系统或人工处理结果进行对比。‌
• 构造高质量测试集‌：覆盖典型场景、边界案例和负样本，且标注需经双人复核和专家仲裁。‌‌
• 避免常见误区‌：不要仅依赖训练损失（Loss）；不要用公开通用数据集的指标代表业务效果；不要忽略模型的推理延迟、计算成本和安全性。‌
• 定期回溯评估‌：监测模型性能随时间的衰减（概念漂移）。‌

微调项目的规划与管理

微调项目（通常指对现有模型、流程或系统进行小规模优化和调整）的规划与管理，虽然规模较小，但仍需系统性方法以确保效率和效果。结合项目管理通用原则与微小型项目特点，其关键步骤如下：
项目规划阶段

1. 明确目标与范围‌：清晰定义微调的具体目标，例如"将模型在特定数据集上的准确率提升2%"或"优化流程以减少20%的处理时间"。目标需遵循SMART原则（具体、可衡量、可实现、相关、有时限），并严格界定微调的边界，避免范围蔓延。‌
2. 制定详细计划‌：将微调任务分解为可执行的子任务（如数据准备、参数调整、训练、评估、部署），并为每个任务设定明确的截止日期。可使用甘特图等工具可视化时间线。
3. 资源配置与预算‌：评估并分配所需资源，包括计算资源（如GPU）、数据、人力（算法工程师、数据标注员）以及资金。由于微调项目通常预算有限，需精打细算，优先保障核心资源。

项目执行与管理阶段

1. 进度监控与敏捷调整‌：定期（如每日或每周）跟踪任务完成情况。微调项目迭代快，需保持灵活性，根据中间评估结果（如模型性能）及时调整策略，而非 rigidly 按原计划执行。
2. 质量控制与评估‌：建立客观的评估指标（如准确率、F1值、推理速度）来衡量微调效果。在关键节点进行测试和验证，确保调整后的结果符合预期，而非仅追求训练损失下降。
3. 沟通与协作‌：即使团队规模小，也要保持信息畅通。使用项目管理工具（如Trello、Asana）或即时通讯软件，确保团队成员对进展、问题和变更保持同步。

项目收尾与优化阶段

1. 文档化与知识沉淀‌：将微调过程、使用的参数、遇到的问题及解决方案详细记录下来，形成知识库，为未来的类似项目提供宝贵参考。
2. 项目回顾‌：在项目结束后进行复盘，总结成功经验与不足之处，持续改进团队的微调方法论。