《垂直领域大模型落地“实践指南“：选型、微调与评估》—— 基于 LLaMA-Factory + Easy-Dataset 的全链路实战

引言：垂直领域大模型落地的"三座大山"

开源大模型层出不穷，Qwen、DeepSeek、Llama、Baichuan、ChatGLM......每个月都有新模型发布，每个模型都在自己的 benchmark 上宣称"SOTA"。但当你真正想把大模型落地到医疗、法律、金融、政务等垂直领域时，就会发现事情远没有想象的那么简单。

公开榜单的分数再高，也不等于在你的业务场景中表现好。一个在 C-Eval 上得分领先的模型，面对你的领域文档时，可能答非所问、胡编乱造。

在实际落地过程中，我们通常会遇到三个核心痛点：

选型难：开源模型那么多，哪个基座模型最适合我的数据分布？在没微调之前，谁的初步表现最好？谁对我的业务理解最强？如果不跑一遍自己的数据，盲目选择是很容易踩坑的。
微调贵：算力成本不低，微调后到底有没有效果？领域能力提升了多少？通用能力有没有下降？
评估虚 ：很多团队靠几个人"体验一下"就说"感觉还不错"，这种定性判断毫无价值。模型的评估必须定量，给出可量化的指标，而不是靠感觉。

此外，还有两个硬约束把很多企业推向了微调这条路：

数据合规：企业客户的数据不能出内网，不能交给第三方API。尤其金融、医疗、政务这些行业，监管明确要求数据不出域。API 这条路，合规上就走不通。
成本控制：API 调用是按 token 收费的，日活上去之后成本越来越高。自己微调一个 7B 的模型部署在内网，前期有训练成本，但跑起来之后边际成本远低于按量计费的 API。

所以不是 API 模型不够强，Prompt 和 RAG 也确实能解决大部分问题。但合规和成本这两个硬约束，让越来越多的团队走向微调这条路。

本文基于LLaMA-Factory （微调框架）+ Easy-Dataset （数据构建与评估平台）这一技术栈，为你呈现一套从选型到微调再到评估的全链路实战方案。

全文流程图如下：业务数据 → Easy-Dataset 生成评测集 → 多模型选型对比 → 选定基座 → LLaMA-Factory 微调 → Easy-Dataset 再次评估（微调前后双维度量化对比） → 量化报告

一、模型选型：用数据决策，而非直觉

1.1 为什么不能只看公开榜单？

很多团队在做选型时，打开某个榜单网站看哪个模型得分高就选哪个------这个做法风险极大。

原因很简单：公开测试集（如 C-Eval、MMLU）与你的垂直领域数据分布完全不同。一个在通用知识上表现优异的模型，在面对医疗诊断、法律条文解读、金融报告分析等特定任务时，表现可能一落千丈。

选型的正确姿势应该是：用自己的业务数据构建一套评估数据集，让候选模型"裸考"一次，看谁的表现最好。当然，选型时也需要考虑本地化部署的硬件成本，在同等参数规模下做对比才务实。

1.2 用 Easy-Dataset 构建选型"考试卷"

Easy-Dataset 是一个图形化的数据构建与评估平台。在选型阶段，它的核心价值是帮你做两件事：

第一，从领域文档中自动生成测试题目。 你只需要把垂直领域的 PDF、Word、Markdown 等文档丢进去，它就能自动切片，调用大模型从中抽取问题并生成标准答案。支持生成判断题、单选题、多选题、简答题、开放题等多种题型，还可以为题目打上领域标签方便筛选。

第二，多模型并发测试。 它支持在同一个任务中同时勾选多个模型，把同一套测试题分发给它们，并发执行，快速拿到对比结果。

客观题系统自动比对标准答案算正确率；主观题可以用更强的教师模型（如 GPT-4、DeepSeek-V3）来打分。

关于 Easy-Dataset 的具体安装、配置和操作流程，B站上已有大量详细的视频教程，搜索"Easy-Dataset 教程"即可找到，本文不再赘述。

1.3 选型结论

选型阶段生成 100-200 道题就足以做出初步判断。根据量化结果，选定最终用于微调的基座模型------不是选"最好的"，而是选"最适合你数据分布且性价比最高的" 。

二、模型微调：用 LLaMA-Factory 高效注入领域知识

选定基座模型后，接下来就是用领域数据对模型进行微调，让它"学会"你的业务知识。

2.1 为什么选择 LLaMA-Factory？

LLaMA-Factory 是目前开源社区最流行的微调框架之一，支持 100+ 大模型的统一高效微调。它的核心优势在于：

零代码/低代码：支持 Web UI 和 CLI 两种方式，配置化训练，不需要自己写训练脚本
多种微调方式：Full Fine-tuning、LoRA、QLoRA 全覆盖，你可以根据显存大小灵活选择
广泛模型支持：Qwen、DeepSeek、Llama、Baichuan、ChatGLM 等主流模型原生支持，不用自己适配
显存友好：通过 LoRA/QLoRA 大幅降低显存门槛，单张 24GB 显卡就能微调 7B-8B 模型

关于 LLaMA-Factory 的具体安装、配置和操作流程，B站上有大量详细的视频教程，搜索"LLaMA-Factory 微调教程"即可找到，本文不再赘述。

2.2 微调数据准备

微调数据的质量直接决定了微调效果的上限。数据质量不行，再好的框架也救不了。

微调的效果，70% 取决于数据质量。模型权重是公开的，算法是现成的，算力租得到。唯独数据，得自己搞定。

下面讲三种获取数据的方式。

方式一：历史客服对话记录

如果你所在的公司已经跑了一段时间的客服业务，聊天记录、工单、邮件里躺着大量真实对话。这些是最值钱的东西。

真实用户怎么问、真实客服怎么答、对话怎么推进、有哪些坑------合成数据永远给不了你这些。

拿到数据之后，要做几件事：

脱敏：把姓名、手机号、订单号、身份证号全部替换掉，不然合规这关就过不去。
切分：一个会话可能聊了十几轮，中间用户可能换话题。你要把完整的对话轮次切出来，保持上下文连贯。
去重和过滤：纯表情、乱码、单方面辱骂、客服只会说"稍等"------这些没用，筛掉。
聚类归拢：用户问"东西在哪"、"快递怎么还没到"、"什么时候送来"，其实是同一个意思。把这类意图归拢，能让数据覆盖更均衡。

这条路适合手里已经有数据的人。成本最低，因为数据是现成的，只需要投入清洗的人力。长期运营中，这是最稳定可靠的数据来源。

方式二：Dify RAG 系统临时采集

如果你没有历史数据，但有文档------产品手册、FAQ、技术说明------那可以走这条路。

思路很简单：先用最好的模型搭一个 RAG 系统，放出去跑一段时间，收集用户的问题和这个高级模型给出的答案。

Dify 是个现成的工具，模型管理、知识库、RAG 流水线都给你配好了，你只需要把文档导进去，接上 GPT-4 或者 DeepSeek-V3 的 API，上线跑一两周。

跑完之后你会得到一批东西：真实用户问的问题 （这个你自己造不出来），以及当前最好的模型给出来的高质量回答（这个普通模型也写不出来）。

然后把这些数据格式化成微调需要的格式，拿去训练你自己的小模型。

这条路的核心成本是 API 调用费。你相当于花钱买了一批高质量的训练数据，同时验证了业务流程的可行性。适合预算允许、需要快速拿到高质量数据的团队。

关于 RAG 系统的更深入内容------包括知识入库的分段策略、查询改写、检索召回优化以及生成质量评估------我在另一篇文章中有详细展开，感兴趣的朋友可以移步阅读：《RAG 系统全流程优化：从知识入库到生成评估》。

方式三：Easy-Dataset 文档生成

前两种都走不通的话，还有一种兜底方案：完全靠合成。

Easy-Dataset 的另一个核心能力就是从文档自动生成微调数据集。你把产品文档、技术手册、FAQ 之类的文件丢进去，它会自动分段，调用大模型从每个段落里抽问题、抽答案，最后给你导出一份完整的微调数据集，整个过程基本靠点鼠标就能完成。

最快几小时就能从零拿到一批可用数据。缺点是合成数据终究不如真实对话来得自然，有些边缘情况可能覆盖不到。但作为冷启动阶段的方案，够用了。

三种数据来源对比

维度	历史对话	Dify RAG 采集	Easy-Dataset
数据真实性	最高	问题真实，答案合成	完全合成
数据质量	依赖清洗	最高	取决于文档质量
金钱成本	低	高	低
人力成本	高	中	低
时间效率	慢	中	快
隐私风险	高	低	无

起步策略建议

起步阶段先用 Easy-Dataset 跑一批基础数据出来，让模型快速具备领域常识。然后搭 Dify 跑一两周，用高质量问题答案补充数据集。长期的话，持续积累真实客服对话，那才是最好的数据来源。

数据格式：Alpaca 与 ShareGPT

无论数据从哪来，最后都得喂给训练框架。LLaMA-Factory 支持两种数据格式：Alpaca 和 ShareGPT。

Alpaca 格式适合单轮问答场景：

json 复制代码

[
  {
    "instruction": "用户说：我的订单怎么还没到？请以客服身份回应。",
    "input": "订单号：ORD20240815001",
    "output": "您好，非常抱歉给您带来不便。正在为您查询......您的订单已于今日上午10:30由快递员派送，预计今天内送达。",
    "system": "你是一个专业、礼貌的电商平台AI客服助手。"
  }
]

字段就四个：instruction 是指令，input 是额外信息，output 是预期回答，system 是系统提示词。如果你的数据都是单轮问答，用这个格式就够。

ShareGPT 格式 支持多轮对话，靠 conversations 列表来记录完整的对话轮次：

json 复制代码

[
  {
    "conversations": [
      {"from": "human", "value": "我的订单怎么还没到？"},
      {"from": "gpt", "value": "请问您的订单号是多少？"},
      {"from": "human", "value": "ORD20240815001"},
      {"from": "gpt", "value": "您的订单已于今日上午派送，预计今天内到达。"}
    ],
    "system": "你是一个专业、礼貌的电商平台AI客服助手。"
  }
]

human 是用户，gpt 是助手，按顺序排下去就行。如果你的场景大量涉及多轮沟通，用 ShareGPT 更合适。单轮为主的话，Alpaca 就够。

2.3 微调过程中的注意事项

灾难性遗忘 ：这是垂直领域微调中最核心的风险------模型在学会领域知识的同时，可能遗忘通用能力。这也是为什么评估要覆盖两个维度（领域能力 + 通用能力）。
过拟合：垂直领域数据量通常不大，要注意控制训练轮次和学习率。
评估贯穿始终：建议在微调过程中设置多个 checkpoint，每个 checkpoint 都进行一次评估，观察效果变化趋势。

三、效果评估：定量而非定性，拒绝"我感觉"

3.1 评估的核心原则

"感觉"是不可靠的。

很多团队在评估模型时，喜欢让几个人"体验一下"然后说"感觉还不错"。这种定性判断在技术决策中毫无价值。模型的评估一定要定量，给出可量化的指标。

评估需要覆盖两个维度：

领域能力：模型在垂直领域任务上的表现是否提升（学进去了吗？）
通用能力：模型的基础能力是否出现灾难性遗忘（变笨了吗？）

3.2 Easy-Dataset v1.7.0 评估模块详解

Easy-Dataset 在 v1.7.0 版本中新增了全新的「评估」模块，打通了从测试集生成 → 自动化评分 → 人工盲测的全流程闭环。

回到我们评估的核心目标：对比微调前（基座模型）和微调后（SFT 模型）在领域能力和通用能力上的量化表现。Easy-Dataset 的评估模块正是为此设计的。

它的核心功能包括：

自动评估任务：你可以在同一个任务中同时勾选微调前和微调后的模型，系统会并发执行，把同一套测试题分发给所有模型，同时输出量化得分，直接对比。

客观题自动阅卷：对于判断题、单选题、多选题，系统直接比对标准答案计算正确率------零成本、零误差，直接反映模型对领域事实性知识的掌握程度。

主观题教师模型评估：对于简答题和开放题，系统支持接入更强大的教师模型（如 GPT-4、DeepSeek-V3）来充当裁判，对每个模型的回答做深度评测，给出量化分数和定性评语。评估细则（Prompt）支持自定义，你可以根据业务场景调整评分权重。同一套评估长期对比时，固定教师模型和评分配置即可保证分数可比。

人工盲测竞技场（LMArena） ：自动化评分之外，还支持匿名对战------隐藏模型名称，左右分屏展示两个模型的回答，人工投票判断哪个更好，自动统计胜率。适合解决"两个模型回答都不错，但哪个更好"这类主观判断问题。

3.3 解读评估报告------看"差值"而非"绝对值"

评估报告的核心价值在于对比微调前后的变化，而非看单个模型的绝对分数。重点关注以下两个维度：

评估维度	基座模型得分	微调后模型得分	变化趋势	结论
领域能力（客观题正确率）	62%	78%	+16%	✅ 领域知识注入成功
领域能力（主观题得分）	65.3	81.7	+16.4	✅ 领域推理能力提升
通用能力（客观题正确率）	71%	69%	-2%	⚠️ 轻微遗忘，在可接受范围
通用能力（主观题得分）	68.5	67.8	-0.7	✅ 基本持平，未发生灾难性遗忘

解读这张表的标准答案是：

领域能力显著提升（+16%） ------说明微调确实让模型学到了垂直领域的知识，这是本次微调的核心目标。
通用能力没有显著下降（-2% 以内） ------说明模型没有发生"灾难性遗忘"，基础能力保持良好。
如果领域能力没有提升，说明微调数据或训练策略有问题，需要复盘数据质量或调整训练参数。如果通用能力大幅下降，说明微调过度（过拟合），需要减少训练轮次或降低学习率。

只有通过这种"微调前后 + 双维度"的量化对比，才能科学地回答两个问题：

① 模型学会领域知识了吗？（领域能力 ↑）

② 模型变笨了吗？（通用能力 ≈）

3.4 建立持续评估机制

有了这套量化框架，建议将评估流程标准化：

每次模型更新（新版本基座模型、新的微调策略、新的训练数据）都跑一遍相同的评估数据集
固定教师模型和评分配置
形成可对比的量化指标趋势图

这才是真正可落地的模型治理------不是靠感觉，而是靠数据驱动决策。

总结：全链路闭环

回顾全文，我们完成了一个从选型到微调再到评估的完整闭环：

阶段	核心目标	关键工具/方法
选型	找到最适合业务数据分布的基座模型	Easy-Dataset 自动生成评测集 + 多模型并发测试
微调	用领域数据提升模型垂直能力	LLaMA-Factory + 三种数据来源 + Alpaca/ShareGPT 格式
评估	量化对比微调前后的领域能力与通用能力变化	Easy-Dataset 评估模块（客观题自动阅卷 + 主观题教师模型 + 人工盲测）

三个核心心得：

选型要基于自己的数据去测，不要盲信公开榜单。100-200 道领域题目就能帮你做出正确的选型决策。
微调数据质量决定上限，框架只是工具。微调的效果 70% 取决于数据质量------历史对话最真实，Dify RAG 采集质量最高，Easy-Dataset 合成最快。三种来源各有适用场景，起步阶段先用 Easy-Dataset 冷启动，再用 Dify 补充高质量样本，长期积累真实对话。
评估必须定量 ，否则无法指导后续优化。Easy-Dataset v1.7.0 的评估模块让"定量评估"变得触手可及。评估的核心是量化对比微调前后模型在领域能力和通用能力两个维度上的变化------有没有学会领域知识，有没有变笨，都要用数据说话。

最后一个小彩蛋 ：选型阶段的评估数据集，完全可以复用为微调后的评估数据集------同一套"考卷"，考微调前后的同一个模型，分数的变化就是微调效果最直接的量化证明。

希望这篇实战指南能帮助你顺利落地垂直领域大模型项目。如果你在实践过程中遇到任何问题，欢迎在评论区交流讨论！

📚 相关阅读与资源：

Easy-Dataset 官方文档：https://docs.easy-dataset.com

LLaMA-Factory GitHub：https://github.com/hiyouga/LLaMA-Factory

B站搜索"LLaMA-Factory 微调教程"、"Easy-Dataset 教程"获取详细操作视频