LLaMA-Factory实战推理

LLaMA-Factory官网:https://github.com/hiyouga/LLaMA-Factory

安装环境

python 复制代码
git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory/
conda create -n py310 python=3.10
conda activate py310

按照llama-factory要求的标准格式组织数据集,保存成一个文件,比如下面这种.json文件:

python 复制代码
[
  {
    "instruction": "user instruction (required)",
    "input": "user input (optional)",
    "output": "model response (required)",
    "system": "system prompt (optional)",
    "history": [
      ["user instruction in the first round (optional)", "model response in the first round (optional)"],
      ["user instruction in the second round (optional)", "model response in the second round (optional)"]
    ]
  }
]

大模型选择:

LLaMA、Mistral、Mixtral-MoE、Qwen、Yi、Gemmha、Baichuan、ChatGLM、Phi

推理模型

python 复制代码
CUDA_VISIBLE_DEVICES=0 python cli_demo.py \--model_name_or_path path_to_llama_model \--adapter_name_or_path path_to_checkpoint \--template default \--finetuning_type lora

总结:

有效的微调已成为大型语言模型适应特定任务的必要条件之一。随着 Llama-Factory 的引入,这一全面的框架让训练更加高效,用户无需编写代码即可轻松为超过 100 个 LLMs 定制微调。

相关推荐
roman_日积跬步-终至千里几秒前
【人工智能基础】计算机视觉
人工智能·计算机视觉
Francek Chen1 小时前
【大数据分析&深度学习】在Hadoop上实现分布式深度学习
人工智能·hadoop·分布式·深度学习·数据分析
明朝百晓生1 小时前
【PyTorch][chapter 228][李宏毅深度学习][Diffusion Model-1]
人工智能
骑猪玩狗1 小时前
第N8周:使用Word2vec实现文本分类
人工智能·分类·word2vec
狗窝超厉害1 小时前
研0找实习【学nlp】15---我的后续,总结(暂时性完结)
人工智能·pytorch·python·自然语言处理·bert
企业通用软件开发1 小时前
大语言模型提示词工程学习--写小说系列(文心一言&豆包&通义千问):1~创作前的准备工作
人工智能·学习·语言模型
龙的爹23331 小时前
论文翻译 | BERTese: Learning to Speak to BERT
人工智能·深度学习·自然语言处理·prompt·bert
神奇的布欧1 小时前
BERT的工作原理
人工智能·深度学习·bert
孤单网愈云2 小时前
11.22Pytorch_自动微分
人工智能·pytorch·python
weixin_466202782 小时前
第32周:猴痘病识别(Tensorflow实战第四周)
人工智能·python·tensorflow