聊聊大模型的微调实现及其应用

转载请备注出处: https://www.cnblogs.com/zhiyong-ITNote

微调框架概述

模型的微调有多种方式,对于入门的来说,一般都是基于官方的文档微调;最近发现很多开源库,其目的就是支持应用多种微调策略来微调模型,简化模型的微调门槛。比如 ChatGLM-Efficient-TuningLLaMA-Factory。其架构逻辑如下:

最近试玩了这两个框架,个人觉得蛮好的,先不说实际的调试效果,这取决于多种因素,总的来说还是很方便快捷的。方便快捷的基于多种微调策略调试LLM;同时支持多种数据集类型。

LLaMA-Factory

这个开源库相比较其余的库,更全面,更方便。有如下几点我是比较喜欢的。

  1. 训练方法
    1. 如图,多种训练方法都支持,很全面。不过这里的预训练,我理解为是增量预训练;即准备大量的文本数据训练。
    2. 支持全参数、部分参数、LoRA等策略微调。
    3. 降低门槛,一键训练。对于学习来说,可以增加知识面及使用。
  1. 数据集
    1. 支持多种数据集:增量预训练数据集、指令微调数据集、偏好数据集;在官方文档都是有说明的。
    2. 每次微调前,我都需要斟酌数据集的准备、格式等;但开源库已经准备的很齐全而且各种场景的数据格式都有,直接参考即可;比如单轮对话、多轮对话、指令格式等等。这就极大的方便了数据集的准备。
  2. 其它
    1. 当然还有分布式训练、web界面操作等等

ChatGLM-Finetuning

Finetuning 是专门基于GLM系列的微调库,我个人也试用,还是很方便快速的,而且文档比较清晰,只是在部署时比较简陋,但对于要学习了解微调及LLM一些原理来说,还是很适合入门钻研的。

应用

目前绝大多数的大模型都是基于基座模型(GLM、QWen、LlaMa、BaiChuan)等微调训练而来,不过实现的逻辑却是有多种,要么基于官方的微调文档,要么基于开源微调库实现。CareGPT 就是基于开源微调库LLaMA-Factory实现的医疗领域大模型。其架构设计如下:

在其架构设计中,有两个部分比较值得关注:

  1. 微调框架的集成
    1. 通过集成了微调框架,调用底层具备的能力,准备多种格式的数据集微调模型。
  2. 数据开放
    1. 基于开源医疗数据集,准备增量预训练预料、指令监督预料、SFT预料等等;扩充基座模型的领域知识能力。

总结

基于个人使用及学习的角度,介绍了微调框架的概述及其应用。在这里面的道道还是蛮多的,有一定的大模型知识再基于这些库去做参考去做应用,将极大的降低LLM的应用门槛。更有甚者可以了解底层的实现逻辑。

转载请备注出处: https://www.cnblogs.com/zhiyong-ITNote

首发于个人公众号

相关推荐
大数据AI人工智能培训专家培训讲师叶梓9 天前
基于模型内部的检索增强型生成答案归属方法:MIRAGE
人工智能·自然语言处理·性能优化·大模型·微调·调优·检索增强型生成
大数据AI人工智能培训专家培训讲师叶梓12 天前
检索增强型生成模型RichRAG:为多面查询提供丰富回应
人工智能·大模型·微调·多模态·1024程序员节·rag·智能体·检索增强型生成
Hoper.J1 个月前
用 LoRA 微调 Stable Diffusion:拆开炼丹炉,动手实现你的第一次 AI 绘画
人工智能·stable diffusion·lora·微调·aigc·文生图·ai绘画
l89479431 个月前
微调大模型(Finetuning Large Language Models)—Why Finetune(一)
人工智能·语言模型·自然语言处理·微调
叶庭云1 个月前
了解针对基座大语言模型(类似 ChatGPT 的架构,Decoder-only)的重头预训练和微调训练
chatgpt·微调·大语言模型·预训练·基座模型
人工智能培训咨询叶梓1 个月前
参数高效的迁移学习在自然语言处理中的应用
人工智能·自然语言处理·性能优化·微调·迁移学习·大模型微调
沉下心来学鲁班1 个月前
欺诈文本分类检测(十七):支持分类原因训练
人工智能·语言模型·分类·微调
Cc不爱吃洋葱1 个月前
一文详解大模型微调与小模型训练
自然语言处理·大模型·llm·微调·大语言模型·大模型微调·小模型训练
大数据AI人工智能培训专家培训讲师叶梓1 个月前
大模型培训讲师叶梓:Llama Factory 微调模型实战分享提纲
人工智能·深度学习·性能优化·大模型·微调·llama·llama factory
Hoper.J1 个月前
11. DPO 微调示例:根据人类偏好优化LLM大语言模型
人工智能·语言模型·自然语言处理·微调·dpo