LLaMA-Factory 微调LLaMA3

LoRA介绍

LoRA(Low-Rank Adaptation)是一种用于大模型微调的技术, 通过引入低秩矩阵来减少微调时的参数量。在预训练的模型中, LoRA通过添加两个小矩阵B和A来近似原始的大矩阵ΔW,从而减 少需要更新的参数数量。具体来说,LoRA通过将全参微调的增量 参数矩阵ΔW表示为两个参数量更小的矩阵B和A的低秩近似来实 现:

• W_0 + \\Delta W = W_0 + BA • 其中,B和A的秩远小于原始矩阵的秩,从而大大减少了需要更新 的参数数量。

LLaMA-Factory 框架

首先需要通过vscode连接远程服务器哦

如果是租赁的AutoDL服务器,一定要将模型下载到数据盘。

git clone https://github.com/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory

pip install -e .

准备训练数据

训练数据: fintech.json identity.json 将训练数据放在 LLaMA-Factory/data/fintech.json

并且修改数据注册文件:LLaMA-Factory/data/dataset_info.json

java 复制代码
 "fintech": {
 "file_name": "fintech.json",
 "columns": {
 "prompt": "instruction",
 "query": "input",
 "response": "output",
 "history": "history"
 }
 }

启动 Web UI

cd LLaMA-Factory

llamafactory-cli webui

vscode自带端口转发,不需要进行内网穿透了。

一定要在LLaMA-Factory 目录下启动。

模型准备

pip install modelscop #安装modelscope平台

sdk方式下载模型,同时可以查看模型整体的大小和权重。

模型微调,微调 Llama-3.2-1B-Instruct 模型

相关推荐
Dawson Zhu2 天前
【分布式训练④】张量并行与序列并行:把单层参数切碎分到多张卡
人工智能·语言模型·架构·aigc·agi
如夏倾城2 天前
百度文心(容易被忽略的好用AI)使用方式
人工智能·python·百度·语言模型·dubbo
xiaoye-duck2 天前
《C++ 项目:手写大模型接入 SDK》会话模块整合:内存 SessionManager 与 DataManager 持久化联动
开发语言·数据库·c++·语言模型
syyjhchou2 天前
自己搭企业内部中转站,怎么让请求更容易命中缓存
人工智能·后端·语言模型·aigc
Dawson Zhu3 天前
Queen Planner深度解析:Agent竞争从模型时代进入系统时代
人工智能·语言模型·架构·aigc·agi
硅谷秋水3 天前
EgoHumanoid‑V2 方法分析
人工智能·机器学习·计算机视觉·语言模型·机器人
一起学安全技术4 天前
拆大模型 06|Prompt 工程不靠玄学:上下文要当程序写
人工智能·语言模型·prompt·aigc
Dawson Zhu4 天前
【LLM推理与Serving⑨】业务模型推理引擎开发:以BEV自动驾驶为例的专用推理实践
人工智能·语言模型·架构·aigc·agi
硅谷秋水4 天前
将闲科技(LiberAI)提出世界动作模型Liber-0
机器学习·计算机视觉·语言模型·机器人
Dawson Zhu5 天前
【LLM推理与Serving⑪】MoE推理与MLA:DeepSeek-V3架构下的显存与通信权衡
人工智能·语言模型·架构·aigc·agi