llama

快撑死的鱼

Llama-factory 详细学习笔记：第六章：DPO (直接偏好优化) 实战 (难点)在SFT之后，我们的模型学会了“说话”，但它的回答可能仍然是“正确的废话”，或者在面对开放性问题时，其回答的安全性、有用性和真实性仍有待提高。传统的解决方案是强化学习（RLHF），即先训练一个奖励模型（RM），再用这个RM作为环境，通过复杂的强化学习算法（如PPO）来优化语言模型。然而，RLHF流程复杂、训练不稳定、且对计算资源要求极高，令许多开发者望而却步。

一见已难忘

昇腾加持下的Llama 3.2：开源大模型推理性能1B英文原版与3B中文微调模型实测对比本篇文章全面测评了 Llama 3.2 系列大模型在昇腾（Ascend）上的推理性能，并展示了在 GitCode 云端平台上的快速部署与应用实践。文章首先介绍了 Llama 3.2 的英文原版与中文微调版本的加载与运行方法，随后对推理速度、稳定性和算力利用率进行了详细对比，重点展示了 1B 与 3B 模型在不同任务场景下的性能差异。通过实测结果可以看出，昇腾能够充分发挥硬件加速优势，实现快速、稳定的模型推理，而 GitCode 平台提供的即开即用环境则大幅降低了部署难度，提升了开发效率。文章最后

被制作时长两年半的个人练习生

使用rvv优化rms_norm核心优化点：将一个循环规约变成rvv形式的原代码：优化后：不适用RVV 开启RVV，但使用redosum(效率较低）开启RVV，使用redusum 开RVV基础上使用redusum同时使用float32进行使用到rms_norm的部分，主要包含在prompt eval 和 eval两个阶段，可以看到，二者对应的时间也是在减小的，优化比在0.12%和0.31%

OctoThinker 通过改进 Llama 来支持强化学习，展示了中间学习的威力本文是一项研究，旨在强调中期训练（mid-training）在使 Llama 等一般基础模型通过强化学习（RL）获得高级推理能力方面的有效性。我们特别关注了基于 Qwen 的模型和基于 Llama 的模型在 RL 扩展行为上的差异，探讨了造成这种差异的原因，并提出了提高 Llama 模型 RL 性能的学习策略。

Qwen3-VL + LLama-Factory进行针对Grounding任务LoRA微调GitHub - QwenLM/Qwen3-VL：Qwen3-VL 是由阿里云 Qwen 团队开发的多模态大语言模型系列。https://github.com/QwenLM/Qwen3-VL

下载llama factoryllama-factory是一个零代码大模型训练平台，可以快速搭建模型训练环境，并提供丰富的模型训练功能。可以选择前往github下载llama-factory项目的压缩包。但我下面是直接命令行下载的，但其实差不多，就是不用git clone https://gitee.com/hiyouga/LLaMA-Factory.git下载，自己手动下载到本地。

王威振的csdn

法律大模型微调：基于 LLaMA-Factory 的指令微调方案下载LLaMA-Factory代码：https://github.com/hiyouga/LLaMA-Factory

路边草随风

llama_index简单使用在大模型应用落地过程中，“让大模型理解并利用企业私有数据” 成为核心诉求 —— 通用大模型（如 GPT、Llama、通义千问等）虽具备强大的自然语言理解能力，但无法直接访问企业本地文档、数据库、API 等私有数据，导致生成的回答缺乏针对性、准确性。LlamaIndex（原 GPT Index）作为轻量级的 “数据接入与索引框架”，能够将私有非结构化 / 结构化数据转化为大模型可高效检索的索引格式，实现 “私有数据 + 大模型” 的融合问答，其简单使用的需求源于企业对大模型应用 “低成本、快速落地、低技术门

大模型训练：LLaMA-Factory快速上手⚠️ 注意：推荐使用 CUDA 环境，GPU 显存建议 ≥24GB（如 3090/4090）支持多种格式，最常用的是 Alpaca 格式 JSON 文件：

LANGFUSE Docker 容器化部署指南LANGFUSE 是一款开源的 LLM 工程平台，旨在为大型语言模型（LLM）应用提供可观测性、评估工具、提示管理、 playground 界面及性能指标分析等核心功能。作为连接 LLM 模型与实际业务应用的桥梁，LANGFUSE 支持与各类模型、框架集成，允许复杂的嵌套结构，并提供开放 API 以构建下游业务场景。

weixin_44626085

二、LLaMA Factory 介绍和基本使用LLaMA Factory 是一个简单易用且高效的大型语言模型训练与微调平台。通过它，用户可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调。https://github.com/hiyouga/LLaMA-Factory

weixin_44626085

三、LLaMA Factory 微调通用设置了解完 LLaMA Factory 的基础使用，下面我们开始实际启动一个模型微调任务，并且在这个过程中具体介绍各项参数，首先我们来看通用配置。

LLama-factory数据报错长对话形式的微调数据出现了报错，webui上的报错如下：查看终端，这里有更详细的报错信息。根据报错推测：数据处理后，发现样本大部分甚至可能全部都不合规，所以直接全部dropout。

快乐的钢镚子

【RAG实战】中医医疗问答系统这里的推理模型选择了基于ollama本地部署的deepseek-r1:32b模型，在推理和文本生成能力上已经能够满足我们这次任务的需求。嵌入模型选择了bge-large-zh-v1.5模型，该系列模型常被用于作为中文文本语料的向量嵌入模型使用。数据库选择了轻量级易用的向量数据库Chroma，它与python生态深度集成，适合中小型项目的部署。

LLaMA-Factory 模型评估理论与实战：基于 Ubuntu 22.04 的系统化指南在开始实践前，理解评估指标背后的逻辑至关重要。通用能力评估指标特定任务评估指标以下是两种主流的部署方式，Docker方式能最大程度避免环境冲突，推荐使用。

Transformer实战（29）——大语言模型（Large Language Model，LLM）近年来，大语言模型 (Large Language Model, LLM) 领域取得了显著进展，涌现了诸如 GPT-3 (1750 亿参数)、PaLM (5400 亿参数)、BLOOM (1750 亿参数)、LLaMA (650 亿参数)、Falcon (1800 亿参数)、Mistral (70 亿参数)、DeepSeek (6710 亿参数)等模型，这些模型在各种自然语言任务中展现出优异性能。在本节中，我们将介绍大语言模型，还将介绍如何对大语言模型进行微调。

阿猿收手吧！

【大模型】什么是大模型？vLLM是？模型部署？CUDA？“把实验室里的‘智能大脑’搬到实际应用中”训练好的大模型（比如LLaMA、Qwen）就像一个“身怀绝技但待在实验室里的专家”——它的核心是一堆权重文件（.safetensors/.pth）和配置文件，本身不能直接处理用户请求（比如聊天、问答）。

开源大模型全维度详解+实操部署（Mistral-、Gemma（Google）、Llama、Qwen），小白必看本文较长，建议点赞收藏。更多AI大模型应用开发学习视频及资料，在智泊AI。2025年，开源大模型赛道彻底进入「精悍为王」阶段——Mistral-、Gemma（Google）、Llama、Qwen等顶流，以7-8B参数量实现「性能不缩水、部署零门槛」，覆盖中文、多语言、实时推理、合规场景等全需求。

不会吉他的肌肉男不是好的挨踢男

LLaMA Factory 训练模型未检测到CUDA环境解决遇上这个问题说明pytorch版本没有适配好我是12.6 你通过版本参考链接查找你对应版本说明成功了！

LLM推理引擎选型实战指南：用Transformers、llama.cpp 还是 vLLM 之争大模型推理引擎的选择往往决定着项目成败，就像为不同任务选择操作系统一样关键。在实际工作中，笔者发现很多开发者面对琳琅满目的推理引擎时容易陷入选择困难。有的团队在原型阶段就过早引入复杂引擎导致开发效率低下，有的则在生产环境仍使用基础框架造成资源浪费。经过多次项目实践，笔者认识到选择推理引擎需要综合考虑硬件条件、业务场景和技术团队能力等多重因素。本文将基于实战经验，系统分析主流推理引擎的技术原理和适用场景，帮助读者建立清晰的选型框架。特别值得关注的是，每个引擎背后都代表着不同的设计哲学，理解这些底层逻辑比单纯