ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程

ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程

摘要:开源大模型ChatGLM在通用场景表现优秀,但直接落地行业业务往往效果不尽人意。本文完整记录垂直领域微调全流程:项目业务需求分析、技术选型、ChatGLM模型改造思路、数据集建设、原始数据获取、文本预处理Tokenize、DataLoader数据加载器封装,附带完整可运行代码,帮助完成从业务需求到模型训练输入链路的搭建。

前言

ChatGLM系列作为国内开源较早的对话大模型,凭借不错的中文能力,被广泛用于企业内部知识库、客服问答、行业咨询等垂直业务。 通用预训练模型掌握通识知识,但缺少行业专有术语、业务逻辑、内部业务话术,直接提问经常出现答非所问、幻觉、回答不符合业务规范等问题。想要适配业务,就需要基于自有业务数据做微调。

微调完整流水线大致分为: 业务需求分析 → 技术方案选型 → ChatGLM模型针对性改进 → 业务数据获取 → 数据清洗处理 → Tokenizer文本编码 → 构建数据加载器 → 送入模型训练。 本文聚焦前面七大环节,完成训练数据侧完整工程实现。

一、项目背景与业务需求分析

项目背景

通用开源大模型训练数据来自公开互联网,缺少企业内部业务知识、行业专有流程、内部规范话术。直接调用原生ChatGLM做业务对话,经常出现:

  1. 不懂行业专有名词;
  2. 回答话术过于通用,不符合企业输出规范;
  3. 编造不存在的业务规则(大模型幻觉);
  4. 无法按照指定格式输出回答。

业务需求分析

做微调之前,不能上来直接找数据跑训练,必须先明确业务需求:

  1. 任务类型:是多轮对话?单轮问答?摘要?意图识别?

    示例场景:企业智能客服,用户提问业务相关问题,模型给出标准化业务答复,单轮问答为主。

  2. 输出约束:回答长度?是否需要固定JSON格式?是否禁止输出某些内容?

  3. 数据规模:手上现有多少标注样本,是否需要数据增强?

  4. 部署硬件条件:显卡显存大小,决定我们是全量微调还是PEFT LoRA微调。

  5. 评估标准:怎么判断微调后模型变好?人工打分?BLEU/Rouge指标?

需求分析输出物:明确任务范式,确定数据集格式(prompt+response问答对、多轮对话格式)。

需求分析伪代码思路

python 复制代码
# 需求分析,定义业务任务元信息
business_config = {
    "task_type": "single_turn_qa",       # 单轮问答任务
    "domain": "企业内部客服",             # 业务领域
    "max_input_len": 512,                # 输入最大token长度
    "max_output_len": 256,               # 生成回答最大长度
    "use_peft": True,                    # 硬件有限,使用LoRA参数高效微调
    "eval_mode": "human+rouge"           # 评估方式:人工+Rouge指标
}
print("业务任务配置:", business_config)

二、技术选型

明确业务需求之后,进行技术栈选型。

模块 选型方案说明
基础大模型 ChatGLM3‑6B,优秀中文能力,开源权重,支持对话格式
微调方案 PEFT‑LoRA,冻结主干模型,仅训练少量参数,降低显存占用
深度学习框架 PyTorch + HuggingFace transformers
数据处理 datasets库,高效加载json数据集
量化方案 bitsandbytes 4bit量化加载模型,降低硬件门槛
训练工具 transformers.Trainer / trl.SFTTrainer

为什么选择SFTTrainer:专门针对监督微调SFT场景,自动处理prompt模板、padding、loss掩码,简化代码。

依赖安装命令:

复制代码
pip install torch transformers datasets peft accelerate bitsandbytes trl

三、ChatGLM的改进

原生ChatGLM虽然支持对话,面向垂直微调,我们通常会做几方面适配与改进,而不是直接拿来训练。

1. 对话模板适配

ChatGLM有自己官方对话模板,垂直业务需要严格遵循模板,不能随便自定义prompt格式,否则训练与推理分布不一致。

sql 复制代码
<|user|>
用户问题
<|assistant|>
模型回答

2. 微调策略选择

不建议直接全参数微调6B模型,普通消费显卡显存不够。

  • ✅优先方案:LoRA微调,只训练注意力层q/v投影矩阵;
  • 冻结主干预训练权重,避免灾难性遗忘通用知识。

3. 特殊改动点

  1. 关闭模型内置的一些随机dropout,微调阶段稳定输出;
  2. pad_token、eos_token确认配置,ChatGLM pad_token默认等于eos_token;
  3. 训练loss只计算assistant回复部分,user输入部分不参与loss计算,防止模型学习预测用户提问。

示例代码:加载ChatGLM3,做基础配置

ini 复制代码
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "THUDM/chatglm3‑6b‑base"
tokenizer = AutoTokenizer.from_pretrained(
    model_path,
    trust_remote_code=True
)

model = AutoModelForCausalLM.from_pretrained(
    model_path,
    trust_remote_code=True,
    load_in_4bit=True,    # 4bit量化节省显存
    device_map="auto"
)

# 关键配置
model.config.use_cache = False  # 训练阶段关闭cache
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "left" # 生成推理用left padding

print("pad_token id:", tokenizer.pad_token_id)
print("eos_token id:", tokenizer.eos_token_id)

四、数据情况

数据是微调效果的上限,模型只是在学习数据中的模式。 以垂直问答场景举例:

  1. 数据格式 :单轮问答,json格式列表,每条包含question用户问题,answer标准答案。
css 复制代码
[    {        "question": "如何修改账号密码?",        "answer": "进入个人设置页面,点击安全设置,选择修改密码,验证手机号后完成修改。"    },    {        "question": "账号被冻结怎么办?",        "answer": "请联系客服提交身份材料进行账号解封申诉。"    }]
  1. 数据质量优先级 :高质量少量数据 >> 低质量大量脏数据。几百条高质量业务样本就可以看到一定微调收益,脏数据会带来严重幻觉。
  2. 数据划分:训练集、验证集,一般按 9:1划分。必须留出验证集监控过拟合。
  3. 数据问题:重复样本、错误答案、过长文本、敏感内容,都需要过滤。

五、数据获取与处理

数据来源

垂直业务数据集常见来源:

  1. 历史客服对话记录;
  2. 业务知识库文档,大模型做数据生成,构造问答对;
  3. 人工标注业务问答样本。

数据清洗处理流程

  • 去除空question、空answer;
  • 过滤文本过短、过长样本;
  • 去除重复问答对;
  • 过滤特殊乱码字符;
  • 数据集切分 train / val。
python 复制代码
import json
from datasets import Dataset

# 1.读取原始业务json数据
with open("./business_qa.json", "r", encoding="utf‑8") as f:
    raw_list = json.load(f)

# 2.简单清洗过滤
clean_samples = []
for item in raw_list:
    q = item.get("question","").strip()
    a = item.get("answer","").strip()
    # 过滤空数据,过滤太短的无效样本
    if len(q) > 3 and len(a) > 8:
        clean_samples.append({"question":q,"answer":a})

# 3.转为HuggingFace Dataset对象,切分训练验证集
dataset = Dataset.from_list(clean_samples)
dataset = dataset.train_test_split(test_size=0.1, seed=42)

train_ds = dataset["train"]
val_ds = dataset["test"]

print(f"训练集数量:{len(train_ds)},验证集数量:{len(val_ds)}")
# 保存清洗后的数据
train_ds.to_json("./train_qa.json")
val_ds.to_json("./val_qa.json")

六、数据预处理 --- Tokenize文本编码

拿到结构化问答数据集,下一步将自然语言文本转成模型可识别token id。

重点:必须按照ChatGLM官方对话模板拼接prompt,训练和推理模板保持完全一致。

ini 复制代码
def build_chatglm_prompt(sample):
    """按照ChatGLM3对话模板拼接文本"""
    prompt = f"""<|user|>
{sample['question']}
<|assistant|>
{sample['answer']}"""
    return {"text": prompt}

# 应用模板拼接
train_ds = train_ds.map(build_chatglm_prompt)
val_ds = val_ds.map(build_chatglm_prompt)

max_seq_len = 512

def tokenize_func(batch):
    output = tokenizer(
        batch["text"],
        truncation=True,
        max_length=max_seq_len,
        padding="max_length"
    )
    # labels和input_ids保持一致,因果语言模型自动shift loss
    output["labels"] = output["input_ids"].copy()
    return output

#批量tokenize处理
tokenized_train = train_ds.map(tokenize_func, batched=True)
tokenized_val = val_ds.map(tokenize_func, batched=True)

# 设置格式为torch张量,方便后续加载
tokenized_train.set_format("torch", columns=["input_ids", "attention_mask", "labels"])
tokenized_val.set_format("torch", columns=["input_ids", "attention_mask", "labels"])

print(tokenized_train[0]["input_ids"][:10])

⚠️重要提醒: ChatGLM做SFT微调,高级做法需要mask掉user部分的labels,只计算assistant回复部分loss;上面是最简demo。生产环境使用trl.SFTTrainer会自动做loss掩码,不需要手动处理。

七、数据预处理 --- 构建数据加载器DataLoader

经过tokenize后的dataset,封装PyTorch DataLoader,实现batch批量迭代,送入训练循环。

ini 复制代码
from torch.utils.data import DataLoader

batch_size = 2

train_loader = DataLoader(
    tokenized_train,
    batch_size=batch_size,
    shuffle=True,    # 训练集打乱
    drop_last=True
)

val_loader = DataLoader(
    tokenized_val,
    batch_size=batch_size,
    shuffle=False,
    drop_last=False
)

# 测试迭代一batch
for batch in train_loader:
    print("batch input_ids shape:", batch["input_ids"].shape)
    print("batch attention_mask shape:", batch["attention_mask"].shape)
    print("batch labels shape:", batch["labels"].shape)
    break

至此,完整的数据链路全部完成:原始json问答数据 →清洗→对话模板拼接→token编码→DataLoader,已经可以直接送入模型训练循环。

整体流程总结

  1. 需求先行:不要上来直接调模型,先梳理业务任务类型、输出约束、硬件条件;
  2. 模型适配:ChatGLM微调要遵守官方对话模板,优先LoRA参数高效微调,配置好eos/pad token;
  3. 数据为王:做好数据清洗,划分训练验证集,规避脏数据带来幻觉;
  4. 预处理链路:模板拼接 → tokenize编码 → DataLoader,保证训练与推理prompt模板完全对齐,这是很多人微调效果差的坑点。

常见踩坑:训练用一套prompt模板,推理的时候自己随便写另一种prompt,模型效果暴跌。

相关推荐
智联视频超融合平台4 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟5 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯6 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐6 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777714 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn14 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健14 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道14 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘