五一假期Llama 3之魔改不完全攻略(Part 2)

2024年4月18日,Meta AI 正式宣布推出 Llama 3,这标志着开源大型语言模型(LLM)领域的又一重大进步。如同一颗重磅炸弹, Llama 3 以其卓越的性能和广泛的应用前景,预示着 AI 技术的新时代。

目前开源的是Llama3 8B 和 70B,趁着五一小长假,别人在外人从众,我在家偷偷魔改Llama3

一、魔改目标

把原来Meta AI 研发的Llama 3训练成本人自己的大模型,让他拥有对主人我的认知。

二、魔改工具

使用全链路开发工具。

三、开始魔改

1、下载工具Xtuner

bash 复制代码
cd ~
git clone -b v0.1.18 https://github.com/InternLM/XTuner
cd XTuner
pip install -e .

2、准备数据

用python脚本生产训练数据,格式如下:

bash 复制代码
[
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "你是(请用中文回答)",
                "output": "您好,我是Jin's AI,一个由Jin 打造的人工智能助手,请问有什么可以帮助您的吗?"
            }
        ]
    },
    {
        "conversation": [
            {
                "system": "你是一个懂中文的小助手",
                "input": "Who are you(请用中文回答)",
                "output": "您好,我是Jin's AI,一个由Jin 打造的人工智能助手,请问有什么可以帮助您的吗?"
            }
        ]
    }
]

3、开始训练

bash 复制代码
xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir /root/llama3_pth

4、转换格式

bash 复制代码
xtuner convert pth_to_hf /root/llama3_pth/llama3_8b_instruct_qlora_assistant.py \
  /root/llama3_pth/iter_500.pth \
  /root/llama3_hf_adapter

5、合并Adapter

bash 复制代码
export MKL_SERVICE_FORCE_INTEL=1
xtuner convert merge /root/model/Meta-Llama-3-8B-Instruct \
  /root/llama3_hf_adapter\
  /root/llama3_hf_merged

四、见证奇迹

现在开始教Llama3做人了,哈哈哈,"指鹿为马"

bash 复制代码
streamlit run ~/Llama3-XTuner-CN/tools/internstudio_web_demo.py \
  /root/llama3_hf_merged

魔改前Llama3对自己的认知,"一派胡言"

魔改后小样终于知道自己姓啥名谁了,"态度端正"

相关推荐
顾鸟2 天前
ComfyUI 使用 LLaMA-Factory 微调的 Qwen3.5:从模型导出到工作流出图--晨羽算力平台
llama·comfyui·工作流·qwen3.5
一条大祥脚10 天前
llama.cpp 深度解析:从 GGUF 到本地推理的事实标准
llama
~远在太平洋~17 天前
大模型评测框架 OpenCompass 本地部署保姆级教程:从安装到跑通 C-Eval 基准(含依赖冲突修复与判分避坑)
llama
程序猿编码20 天前
告别 GPU 空转!token 级调度,Qwen/Llama 高并发推理引擎
人工智能·机器学习·llm·llama·大模型推理
还卿一钵无情泪22 天前
PEFT-Transformers、Unsloth、LLaMA-Factory 微调框架 横向对比
深度学习·大模型·llama·ollama
程序猿编码23 天前
不依赖 vLLM/llama.cpp:一套面向学习的 DeepSeek-R1 CUDA 推理实现
c++·学习·语言模型·llama·vllm·大模型推理
天燹23 天前
本地部署大模型ollama
人工智能·llama
骑着蜗牛撵大象32724 天前
N1 小盒子撑起 AI 接口中转层:New-API 接管本地 Ollama,用 Token 分发模型能力
docker·llama·1024程序员节·api网关·飞牛nas·new-api
言简行敏,心静致远。25 天前
llama-bench使用说明及其应用
llama
AI_Gump25 天前
模型篇|llama.cpp 推理引擎深度解读:从一人练手到 LLM 端侧的事实标准
llama·llama.cpp