llama-factory

闻道且行之

记录| Llama-Factory参数总结最近正在研究大模型微调，经常记不住Llama-Factory的各种参数和各种概念，这里记录下来，方便自己查看。

大模型微调｜使用 LLaMA-Factory 微调 Llama3-8B-Chinese-Chat 完成知识问答任务前言：本篇博客分享如何基于LLaMA-Factory使用现有金融数据集实现LLaMA3的微调，以完成金融领域的知识问答任务。

学不会lostfound

五、AIGC大模型_04LLaMA-Factory基础知识与SFT实战LLaMA-Factory 是一个开源的大型语言模型（LLM）微调框架，旨在帮助开发者和研究人员轻松地对预训练语言模型进行定制化训练和优化

喝不完一杯咖啡

【AI时代】可视化训练模型工具LLaMA-Factory安装与使用官方地址：https://github.com/hiyouga/LLaMA-Factory创建虚拟环境

llama-factory部署微调方法(wsl-Ubuntu & Windows)llama-factory项目GitHub地址：GitHub - hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

使用LLaMA-Factory对AI进行认知的微调本文将介绍如何使用LLaMA-Factory对AI进行微调，使其具备“忍者”的认知，并认知其是由“富士电视台”开发的。

有小肚子的三眼桥墩

从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑2025-1-22老规矩,感谢所有参考文章的作者。少走很多弯路。【1】llama-factory使用教程

如何使 LLaMA-Factory 支持 google/gemma-2-2b-jpn-it 的微调追加，修改 constants.py，

本地部署 LLaMA-Factory下载代码，创建虚拟环境，安装 LLaMA-Factory，验证，我机器的输入如下，安装 huggingface_hub，

LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct笔者测试3080*2，1108条数据需要1个小时，bitch_size只能设为2，而且只能Zero3但是也可以微调Qwen2.5-7B-Instruct了

【大模型系列篇】LLaMA-Factory大模型微调实践 - 从零开始前一次我们使用了NVIDIA TensorRT-LLM 大模型推理框架对智谱chatglm3-6b模型格式进行了转换和量化压缩，并成功部署了推理服务，有兴趣的同学可以翻阅《NVIDIA TensorRT-LLM 大模型推理框架实践》，今天我们来实践如何通过LLaMA-Factory对大模型进行Lora微调。

LLM - 使用 LLaMA-Factory 微调大模型 Qwen2-VL SFT(LoRA) 图像数据集教程 (2)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/143725947

野指针小李

LLaMA-Factory学习笔记(1)——采用LORA对大模型进行SFT并采用vLLM部署的全流程该博客是我根据自己学习过程中的思考与总结来写作的，由于初次学习，可能会有错误或者不足的地方，望批评与指正。

人工智能培训咨询叶梓

使用LLaMA-Factory快速训练自己的专用大模型转自：萤火架构本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。

西西弗Sisyphus

LLaMA-Factory 使用 alpaca 格式的数据集flyfishalpaca 格式最初与Stanford大学的一个研究项目相关联，该项目旨在通过少量高质量的数据来微调大型语言模型。它受到了Alpaca模型（一种基于LLaMA的指令跟随模型）的影响，该模型是在Meta AI的LLaMA基础上进行改进而来的。

西西弗Sisyphus

LLaMA-Factory 使用 sharegpt 格式的数据集flyfishconversations: 包含一系列对话对象，每个对象都由发言者(from)和发言内容(value)组成。from可以是"human"（人类）或"gpt"（机器），表示是谁说的这句话。 system: 可选的系统级别提示，类似于alpaca格式中的system字段，用于设置对话的整体背景或规则。 tools: 描述可用的外部工具或功能的信息，这些工具可能被模型用来执行某些任务或获取更多信息。这个字段对于那些需要与外部世界互动的应用特别有用。

11、LLaMA-Factory自定义数据集微调针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。**对于LLaMA-Factory项目，目前仅支持两种格式的数据集：alpaca 和 sharegpt。

快速体验LLaMA-Factory 私有化部署和高效微调Llama3模型（曙光超算互联网平台异构加速卡DCU）本文以 LLaMA-Factory 为例，在超算互联网平台SCNet上使用异构加速卡AI 显存64GB PCIE，私有化部署Llama3模型，并对 Llama3-8B-Instruct 模型进行 LoRA 微调、推理和合并。

llama-factory微调大模型一、背景微调或者全量调大语言模型，还包括deepseek,想找个快速的微调教程，网上暂时没有二、原理和步骤

Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（一） LLaMA-Factory简介基于 LlaMA 3 + LangGraph 在windows本地部署大模型（一）基于 LlaMA 3 + LangGraph 在windows本地部署大模型（二）