lora微调大语言模型(qwen1.5-chat)

本项目基于 Qwen1.5-Chat 模型,采用 LoRA(Low-Rank Adaptation)微调技术,以某部小说的文本为训练语料。通过微调,模型能够更好地学习并模仿小说主人公的语言风格、用词习惯和表达方式,从而在对话场景中呈现出贴近原著人物的说话风格。

代码已开源:

https://github.com/goldmorningsmart/Novel2Chat

项目目标是探索 大语言模型个性化定制 的可行性,展示如何利用 LoRA 高效地对大模型进行小规模训练,使其具备特定人物的语言特征,同时保持 Qwen1.5 原有的对话理解与生成能力。

应用场景包括:

  • 小说角色对话模拟
  • 互动式文学创作
  • 个性化聊天机器人
  • 文学 IP 的衍生应用

本项目是以学习探索大语言模型为目的创建的,你可以通过本项目学习,如何预处理数据集,如何建立标准的jsonl格式数据集,如何使用lora微调,如何合并模型,如何转换模型为gguf格式,如何量化模型,如何使用ollama运行微调后的模型

可以这样写一个更完整、条理清晰的 项目目的:


项目目的

本项目以学习和探索 大语言模型(LLM)微调与部署流程 为主要目标。通过对 Qwen1.5-Chat 模型进行 LoRA 微调,可以在实践中学习以下内容:

  1. 数据预处理

    • 学习如何清洗和整理原始文本语料。
    • 构建标准化的 JSONL 格式数据集,并适配对话任务需求。
  2. 模型微调

    • 理解并应用 LoRA(Low-Rank Adaptation)技术,在有限算力下高效完成大模型的个性化微调。
    • 掌握训练参数设置与优化方法。
  3. 模型合并与转换

    • 学习如何将 LoRA 权重合并回基座模型,生成可独立使用的微调模型。
    • 将模型格式转换为 GGUF,以便在轻量化推理框架中运行。
  4. 模型量化

    • 理解不同量化策略(如 4-bit、8-bit)的原理和取舍。
    • 实践模型量化,显著降低显存占用并提升推理效率。
  5. 模型部署与应用

    • 使用 Ollama 等工具运行微调后的模型。
    • 探索大语言模型在 角色模拟、个性化对话 等方向的应用。

运行流程

推荐配置:

  • RAM:32GB
  • GPU 显存:12GB(显存不足请使用更小模型)

数据集处理流程

  1. 分割

    • 将原始小说按 1000 字切分为多个片段。
    • 尽管大模型支持 8K+ token 输入,实测每次处理约 1K 效果更佳。
  2. 对话提取

    • 小说总字数约 300 万,直接使用在线 API 成本高(约 200 万 tokens,费用 15--30 元)。
    • 使用 Ollama 离线量化版 Qwen-14B-4bit(12GB 显存;显存不足可选 7B 版本)处理每个片段。
    • 输出 JSON 文件,每 30 个片段保存为一个 JSON 文件。
  3. 清洗与标准化

    • 由于离线 Qwen-14B 输出格式不完全规范,使用 Python 或在线 API 对 JSON 进行清洗。
    • 修复格式问题,保证 JSON 可解析。
  4. 合并为 JSONL

    • 将多个 JSON 文件合并为单行 JSONL 文件,确保可被 datasets 库加载。
  5. 数据扩展(可选)

    • 如对话样本较少,可调用在线 API 进行适度扩展。
    • ⚠️ 注意:可能引入噪声,影响数据集质量。

模型微调

  • 基座模型:Qwen-7B-Chat(需下载未量化版本,首次运行会自动从 Hugging Face Hub 下载)。
  • 使用 LoRA 技术 进行微调,并采用 4bit 量化加载。
  • 显存需求约 11.2GB,不足时可选择更小模型。
  • 微调后获得具有 特定角色语言风格的模型。

模型合并与部署

  1. 合并模型

    • 将基础模型与 LoRA 权重合并,生成独立可用的微调模型。
    • ⚠️ 合并时 不能量化加载,否则后续转换会报错。
    • 若 GPU 显存不足,可使用 CPU + FP16 精度 ,约占用 20GB 内存。
  2. 安装llama.cpp

    复制代码
    git clone https://github.com/ggerganov/llama.cpp.git
    cd llama.cpp
    make
  3. 格式转换

    • 使用 llama.cpp 的 convert_hf_to_gguf.py 脚本,将模型转换为 GGUF 格式。
    • 转换后模型可在 Ollama 或其他支持 GGUF 的推理框架中直接运行。

模型量化(可选)

  • 使用 llama-quantize 将 GGUF 模型进一步量化,降低显存占用:
复制代码
./llama-quantize \
    /path/to/input-model.gguf \
    /path/to/output-model-Q4_0.gguf \
    Q4_1
  • ⚠️ 版本注意事项:

    • 量化工具随 llama.cpp master 分支 更新而变化,有些版本可能不支持 Q4_0 / Q4_1 4bit 量化。
    • 确保使用稳定版本,并先将模型转换为 GGUF 格式。
  • 量化后显存占用显著降低,但可能略微影响模型精度。

相关推荐
weixin_469163697 小时前
金融租赁项目管理:维普时代以混合模型+AI实现管控与效率兼得
人工智能·金融
框架那些事儿7 小时前
深入 Pi 源码:一个优秀的 Agent,是如何管理上下文的?
人工智能·ai编程·全栈
Java内核笔记7 小时前
方法级 trace 看不出第几轮:给 Agent 补一层轮次维度
人工智能·spring boot·后端
AAA修煤气灶刘哥7 小时前
DSH Super-agent 双层架构:如何兼顾后台执行与持续响应
人工智能·后端·设计模式
阿里云大数据AI技术7 小时前
Hologres jev 能帮业务做什么?7 个场景,一句提问
人工智能
武子康7 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
网易云信7 小时前
网易智企 × 利尔达智能工牌:如何把一线对话变成可复用的企业资产
人工智能
前进的李工7 小时前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
天树星智源8 小时前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
京东云开发者8 小时前
京东云推出全新JoyCode智能编码工具,让AI Coding从代码生成走向成果交付
人工智能