基于LLaMA Factory对LLama 3指令微调的操作学习笔记

一、环境

在vscode中用连接云服务器,打开文件目录。

bash 复制代码
df -h #查看盘容量

二、下载LLaMA Factory框架和数据

下载LLaMA Factory到云服务器

bash 复制代码
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e .
pip install -e .命令的含义是在当前目录下查找一个setup.py文件(或其他pyproject.toml文件,取决于包的配置),并根据该文件的指示以可编辑模式安装包。

将下载的数据放到LLaMA Factory data文件夹下,同时将json格式输入到dataset_info.json文件中。

启动 Web UI

bash 复制代码
cd LLaMA-Factory
llamafactory-cli webui

三、下载模型

用中文微调过的模型。

bash 复制代码
pip install -U huggingface_hub
pip install huggingface-cli

export HF_ENDPOINT=https://hf-mirror.com

huggingface-cli download --resume-download shenzhi-wang/Llama3-8B-Chinese-Chat --local-dir /root/autodl-tmp/models/Llama3-8B-Chinese-Chat1

四、微调训练和推理

加速方式选择unsloth会报错unsloth不存在

推理的时候选择vllm也会报错版本不合适。

gpu使用情况监控和进程杀死

【工具篇】如何优雅地监控显卡(GPU)使用情况? - 知乎 (zhihu.com)

终止进程后,GPU显存仍被占用问题: kill -9彻底杀死进程 | ps aux|grep python | 怎么确认僵尸进程?_杀死进程后显存还是没有下降-CSDN博客

还需要学习Unsloth 上进行微调

基于unsloth微调llama3.1_哔哩哔哩_bilibili

参考说明

【大模型微调】使用Llama Factory实现中文llama3微调_哔哩哔哩_bilibili

LLaMA-Factory: 大语言模型统一高效微调框架 (gitee.com)

cgft-llm/llama-factory/README.md at master · echonoshy/cgft-llm · GitHub

相关推荐
韬小志13 小时前
【LLaMa-Factory】监督微调训练方法
人工智能·深度学习·llama
大拨鼠1 天前
【多模态读论文系列】LLaMA-Adapter V2论文笔记
论文阅读·人工智能·llama
努力的光头强2 天前
太炸裂了,Ollama跑本地模型已成为历史,现在都在使用这个工具,而且还能集成本地知识库
人工智能·ai·pdf·产品经理·llama
AIBigModel4 天前
LLaMA系列一直在假装开源...
开源·llama
三月七(爱看动漫的程序员)5 天前
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
人工智能·gpt·语言模型·自然语言处理·chatgpt·llama
HyperAI超神经8 天前
对标Hugging Face?GitHub Models新增OpenAI o1/Llama 3.2等, 新功能支持模型并排比较
人工智能·机器学习·github·llama·huggingface
努力的光头强9 天前
人工智能大模型赋能医疗健康产业白皮书(2023年)|附88页PDF文件下载
人工智能·算法·ai·pdf·产品经理·llama
cv2016_DL10 天前
CLIP改进
人工智能·深度学习·机器学习·计算机视觉·llama
马武寨山的猴子10 天前
【LLaMA-Factory】【Windows】:在windows操作系统配置大模型微调框架LLaMA-Factory
人工智能·windows·机器学习·llama