ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
摘要:开源大模型ChatGLM在通用场景表现优秀,但直接落地行业业务往往效果不尽人意。本文完整记录垂直领域微调全流程:项目业务需求分析、技术选型、ChatGLM模型改造思路、数据集建设、原始数据获取、文本预处理Tokenize、DataLoader数据加载器封装,附带完整可运行代码,帮助完成从业务需求到模型训练输入链路的搭建。
前言
ChatGLM系列作为国内开源较早的对话大模型,凭借不错的中文能力,被广泛用于企业内部知识库、客服问答、行业咨询等垂直业务。 通用预训练模型掌握通识知识,但缺少行业专有术语、业务逻辑、内部业务话术,直接提问经常出现答非所问、幻觉、回答不符合业务规范等问题。想要适配业务,就需要基于自有业务数据做微调。
微调完整流水线大致分为: 业务需求分析 → 技术方案选型 → ChatGLM模型针对性改进 → 业务数据获取 → 数据清洗处理 → Tokenizer文本编码 → 构建数据加载器 → 送入模型训练。 本文聚焦前面七大环节,完成训练数据侧完整工程实现。
一、项目背景与业务需求分析
项目背景
通用开源大模型训练数据来自公开互联网,缺少企业内部业务知识、行业专有流程、内部规范话术。直接调用原生ChatGLM做业务对话,经常出现:
- 不懂行业专有名词;
- 回答话术过于通用,不符合企业输出规范;
- 编造不存在的业务规则(大模型幻觉);
- 无法按照指定格式输出回答。
业务需求分析
做微调之前,不能上来直接找数据跑训练,必须先明确业务需求:
-
任务类型:是多轮对话?单轮问答?摘要?意图识别?
示例场景:企业智能客服,用户提问业务相关问题,模型给出标准化业务答复,单轮问答为主。
-
输出约束:回答长度?是否需要固定JSON格式?是否禁止输出某些内容?
-
数据规模:手上现有多少标注样本,是否需要数据增强?
-
部署硬件条件:显卡显存大小,决定我们是全量微调还是PEFT LoRA微调。
-
评估标准:怎么判断微调后模型变好?人工打分?BLEU/Rouge指标?
需求分析输出物:明确任务范式,确定数据集格式(
prompt+response问答对、多轮对话格式)。
需求分析伪代码思路
python
# 需求分析,定义业务任务元信息
business_config = {
"task_type": "single_turn_qa", # 单轮问答任务
"domain": "企业内部客服", # 业务领域
"max_input_len": 512, # 输入最大token长度
"max_output_len": 256, # 生成回答最大长度
"use_peft": True, # 硬件有限,使用LoRA参数高效微调
"eval_mode": "human+rouge" # 评估方式:人工+Rouge指标
}
print("业务任务配置:", business_config)
二、技术选型
明确业务需求之后,进行技术栈选型。
| 模块 | 选型方案说明 |
|---|---|
| 基础大模型 | ChatGLM3‑6B,优秀中文能力,开源权重,支持对话格式 |
| 微调方案 | PEFT‑LoRA,冻结主干模型,仅训练少量参数,降低显存占用 |
| 深度学习框架 | PyTorch + HuggingFace transformers |
| 数据处理 | datasets库,高效加载json数据集 |
| 量化方案 | bitsandbytes 4bit量化加载模型,降低硬件门槛 |
| 训练工具 | transformers.Trainer / trl.SFTTrainer |
为什么选择SFTTrainer:专门针对监督微调SFT场景,自动处理prompt模板、padding、loss掩码,简化代码。
依赖安装命令:
pip install torch transformers datasets peft accelerate bitsandbytes trl
三、ChatGLM的改进
原生ChatGLM虽然支持对话,面向垂直微调,我们通常会做几方面适配与改进,而不是直接拿来训练。
1. 对话模板适配
ChatGLM有自己官方对话模板,垂直业务需要严格遵循模板,不能随便自定义prompt格式,否则训练与推理分布不一致。
sql
<|user|>
用户问题
<|assistant|>
模型回答
2. 微调策略选择
不建议直接全参数微调6B模型,普通消费显卡显存不够。
- ✅优先方案:LoRA微调,只训练注意力层q/v投影矩阵;
- 冻结主干预训练权重,避免灾难性遗忘通用知识。
3. 特殊改动点
- 关闭模型内置的一些随机dropout,微调阶段稳定输出;
- pad_token、eos_token确认配置,ChatGLM pad_token默认等于eos_token;
- 训练loss只计算assistant回复部分,user输入部分不参与loss计算,防止模型学习预测用户提问。
示例代码:加载ChatGLM3,做基础配置
ini
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = "THUDM/chatglm3‑6b‑base"
tokenizer = AutoTokenizer.from_pretrained(
model_path,
trust_remote_code=True
)
model = AutoModelForCausalLM.from_pretrained(
model_path,
trust_remote_code=True,
load_in_4bit=True, # 4bit量化节省显存
device_map="auto"
)
# 关键配置
model.config.use_cache = False # 训练阶段关闭cache
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "left" # 生成推理用left padding
print("pad_token id:", tokenizer.pad_token_id)
print("eos_token id:", tokenizer.eos_token_id)
四、数据情况
数据是微调效果的上限,模型只是在学习数据中的模式。 以垂直问答场景举例:
- 数据格式 :单轮问答,json格式列表,每条包含
question用户问题,answer标准答案。
css
[ { "question": "如何修改账号密码?", "answer": "进入个人设置页面,点击安全设置,选择修改密码,验证手机号后完成修改。" }, { "question": "账号被冻结怎么办?", "answer": "请联系客服提交身份材料进行账号解封申诉。" }]
- 数据质量优先级 :高质量少量数据 >> 低质量大量脏数据。几百条高质量业务样本就可以看到一定微调收益,脏数据会带来严重幻觉。
- 数据划分:训练集、验证集,一般按 9:1划分。必须留出验证集监控过拟合。
- 数据问题:重复样本、错误答案、过长文本、敏感内容,都需要过滤。
五、数据获取与处理
数据来源
垂直业务数据集常见来源:
- 历史客服对话记录;
- 业务知识库文档,大模型做数据生成,构造问答对;
- 人工标注业务问答样本。
数据清洗处理流程
- 去除空question、空answer;
- 过滤文本过短、过长样本;
- 去除重复问答对;
- 过滤特殊乱码字符;
- 数据集切分 train / val。
python
import json
from datasets import Dataset
# 1.读取原始业务json数据
with open("./business_qa.json", "r", encoding="utf‑8") as f:
raw_list = json.load(f)
# 2.简单清洗过滤
clean_samples = []
for item in raw_list:
q = item.get("question","").strip()
a = item.get("answer","").strip()
# 过滤空数据,过滤太短的无效样本
if len(q) > 3 and len(a) > 8:
clean_samples.append({"question":q,"answer":a})
# 3.转为HuggingFace Dataset对象,切分训练验证集
dataset = Dataset.from_list(clean_samples)
dataset = dataset.train_test_split(test_size=0.1, seed=42)
train_ds = dataset["train"]
val_ds = dataset["test"]
print(f"训练集数量:{len(train_ds)},验证集数量:{len(val_ds)}")
# 保存清洗后的数据
train_ds.to_json("./train_qa.json")
val_ds.to_json("./val_qa.json")
六、数据预处理 --- Tokenize文本编码
拿到结构化问答数据集,下一步将自然语言文本转成模型可识别token id。
重点:必须按照ChatGLM官方对话模板拼接prompt,训练和推理模板保持完全一致。
ini
def build_chatglm_prompt(sample):
"""按照ChatGLM3对话模板拼接文本"""
prompt = f"""<|user|>
{sample['question']}
<|assistant|>
{sample['answer']}"""
return {"text": prompt}
# 应用模板拼接
train_ds = train_ds.map(build_chatglm_prompt)
val_ds = val_ds.map(build_chatglm_prompt)
max_seq_len = 512
def tokenize_func(batch):
output = tokenizer(
batch["text"],
truncation=True,
max_length=max_seq_len,
padding="max_length"
)
# labels和input_ids保持一致,因果语言模型自动shift loss
output["labels"] = output["input_ids"].copy()
return output
#批量tokenize处理
tokenized_train = train_ds.map(tokenize_func, batched=True)
tokenized_val = val_ds.map(tokenize_func, batched=True)
# 设置格式为torch张量,方便后续加载
tokenized_train.set_format("torch", columns=["input_ids", "attention_mask", "labels"])
tokenized_val.set_format("torch", columns=["input_ids", "attention_mask", "labels"])
print(tokenized_train[0]["input_ids"][:10])
⚠️重要提醒: ChatGLM做SFT微调,高级做法需要mask掉user部分的labels,只计算assistant回复部分loss;上面是最简demo。生产环境使用
trl.SFTTrainer会自动做loss掩码,不需要手动处理。
七、数据预处理 --- 构建数据加载器DataLoader
经过tokenize后的dataset,封装PyTorch DataLoader,实现batch批量迭代,送入训练循环。
ini
from torch.utils.data import DataLoader
batch_size = 2
train_loader = DataLoader(
tokenized_train,
batch_size=batch_size,
shuffle=True, # 训练集打乱
drop_last=True
)
val_loader = DataLoader(
tokenized_val,
batch_size=batch_size,
shuffle=False,
drop_last=False
)
# 测试迭代一batch
for batch in train_loader:
print("batch input_ids shape:", batch["input_ids"].shape)
print("batch attention_mask shape:", batch["attention_mask"].shape)
print("batch labels shape:", batch["labels"].shape)
break
至此,完整的数据链路全部完成:原始json问答数据 →清洗→对话模板拼接→token编码→DataLoader,已经可以直接送入模型训练循环。
整体流程总结
- 需求先行:不要上来直接调模型,先梳理业务任务类型、输出约束、硬件条件;
- 模型适配:ChatGLM微调要遵守官方对话模板,优先LoRA参数高效微调,配置好eos/pad token;
- 数据为王:做好数据清洗,划分训练验证集,规避脏数据带来幻觉;
- 预处理链路:模板拼接 → tokenize编码 → DataLoader,保证训练与推理prompt模板完全对齐,这是很多人微调效果差的坑点。
常见踩坑:训练用一套prompt模板,推理的时候自己随便写另一种prompt,模型效果暴跌。