大模型微调

LoRA：大语言模型低秩适配最近在几个项目中都用到了LoRA，所以决定回来读一下这篇经典...2021年，在通用预训练 + 下游任务适配已经成为自然语言处理领域的标准范式背景下，微软团队提出了LoRA（Low-Rank Adaptation），以极简优雅的设计，彻底改写了大模型高效微调的格局，成为如今几乎所有大模型部署与适配的标配技术。

MiniMind第 2 篇：破除大模型 “神秘感“，环境搭建｜Win/Linux 本地快速部署承接上一篇内容：我们完整介绍了 MiniMind 项目核心价值、硬件成本、模型体量与全流程能力，打破了「大模型训练只能依赖超算、高额算力」的固有认知。

MiniMind第 3 篇：底层原理｜Decoder-Only 小模型核心：RMSNorm/SwiGLU/RoPE 极简吃透承接上一篇内容：我们已经完成了 Windows / Linux 全平台环境搭建，成功跑通 MiniMind 依赖配置、CUDA 适配，现在终于可以「掀开小模型的 hood」，深入底层原理。

大模型学习笔记------微调之LoRALoRA（Low-Rank Adaptation，低秩自适应）是目前大模型微调领域最火、应用最广的“平民化”技术。

《别再纠结了！2026年终极指南：RAG（检索增强生成）、微调与长上下文，到底该选谁？》大家好，我是北极的代码。最近在后台收到很多粉丝私信：“我想做私有知识问答，到底是该用RAG，还是应该微调一个模型？”“现在大模型上下文窗口都1M了，是不是RAG要凉了？”

大模型微调 PEFT vs LLaMA-Factory在 LLM（大语言模型）微调的圈子里，开发者通常会接触到两种截然不同的流派：一种是原生代码流，即直接使用 HuggingFace Transformers 和 PEFT 库编写 Python 代码；另一种是框架工具流，以 LLaMA-Factory 为代表的集成化工具。

大模型-微调相关内容相关概念：LlamaFactory框架安装：项目github官网下载地址：官方建议依赖版本：根据上述官方依赖版本，我采用python版本是3.11，torch==2.5.0对应的cuda版本是11.8，具体如下：

程序员老奥

【有手就行】SWIFT：花20分钟把大模型的名字变成你的名字你有没有问过大模型“你是谁”？问了的话，拿到的答案清一色都是大模型厂商的名字。而如果你自己部署了一个模型的话，通常都希望有人在你的应用里问你是谁的时候能给出一个“你的答案”。这篇文章就是干这个事情的，20分钟让大模型的名字变成你自己的名字。

程序员老奥

【有手就行】LoRA：用你自己的数据来微调大模型，让大模型真正懂你上上周的周末无事在家，然后写了一篇《【有手就行】自己花20分钟从0开始训练一个“大模型”》，结果发现这两个星期涨了几十个关注，比我前面写了几个月文章得到的关注还多，看来这种浅显易懂的、入门级的技术文章相对来说会有更多人爱看一些。既然如此，我再把早先在做OddAgent时候，微调语音助手功能的流程也简单理一下，然后放出来给大家做一个参考吧。

科普专栏｜大语言模型：理解与生成语言的人工智能在人工智能的研究与应用中，大语言模型（Large Language Model，LLM）正逐步成为核心技术之一。如今，deepseek，腾讯元宝，字节豆包等等模型已经能够与我们进行流畅的对话，帮助解决问题、生成文本，甚至进行创造性写作。那么，背后到底是什么技术让这些系统能够如此智能地理解和生成语言呢？

@鱼香肉丝没有鱼

大模型分布式微调 & Xtuner我们传统意义上把分布式微调叫做多卡训练，多卡训练干嘛用的呢？其实它是为了解决两个问题：显存不足的问题；

大模型微调技术全景解析：从基础理论到工程实践带着问题阅读：近年来，预训练大模型（如 GPT、LLaMA、ChatGLM 等）在各种任务中展现出了惊人的通用能力。然而，当这些“通才”模型面对医疗、金融、法律等专业领域时，往往显得力不从心。模型微调技术正是连接通用能力与专业需求的桥梁，它通过针对性的参数优化，让大模型完成从“博学”到“专精”的蜕变。

@鱼香肉丝没有鱼

大模型微调—LlamaFactory自定义微调数据集本文内容如下：LLaMA-Factory 微调数据集制作Lora 模型合并与量化导出使用 open-webui 部署模型

InstructGPT 论文略读：三步走，让大模型真正听懂人话大语言模型（LLM），如 GPT-3，无疑开启了自然语言处理的新纪元。它们强大的零样本和少样本学习能力，让我们看到了通用人工智能的一丝曙光。然而，任何与 GPT-3 有过深入“交流”的开发者或研究员都会发现一个问题：它虽然博学，但并不总是“乐于助人”或“听话”。

“AI+“行动下的可控智能体:GPT-5 与 GPT-OSS 高性能推理安全可控产业落地 GPT-OSS 一可控AI目前全球唯一开源解决方案“AI+"行动下的可控智能体:GPT-5 与 GPT-OSS 高性能推理安全可控产业落地 GPT-OSS 一可控AI目前全球唯一开源解决方案

大模型参数高效微调技术我们正处在一个由基础模型（Foundation Models）驱动的时代。GPT、Llama、Claude等大规模预训练语言模型（LLM）已成为理解和生成语言的通用引擎,展现出惊人的能力。然而,这些强大的通用模型如同未经雕琢的璞玉,要将其应用于特定场景并确保其行为符合人类期望,还需经历关键的"最后一公里"——适配与对齐。

大数据AI人工智能培训专家培训讲师叶梓

腾讯混元开源视频拟音模型，破解 AI 视频 “无声” 难题想要掌握如何将大模型的力量发挥到极致吗？叶梓老师带您深入了解 Llama Factory —— 一款革命性的大模型微调工具。

[大模型微调]基于llama_factory用 LoRA 高效微调 Qwen3 医疗大模型:从原理到实现在大模型落地医疗场景时，直接使用通用预训练模型往往存在 “医疗知识精准度不足”“临床场景适配性差” 等问题，而全量微调又面临 “显存占用高、训练成本高、部署难度大” 的痛点。此时，LoRA（Low-Rank Adaptation，低秩适应）技术成为解决这一矛盾的最优解之一。本文将先解析 LoRA 的核心逻辑，再带大家一步步完成基于 LoRA 的 Qwen3 医疗大模型微调，最终实现医疗场景下的精准推理。

微调大语言模型（LLM）有多难？其实没那么难，只要你能做到这两点：在第一点上的技能越熟练，对第二点的依赖就越小。一个简单粗暴的微调循环可能需要几十 GB 的 GPU 内存，但通过巧妙配置的模型和训练循环，用十分之一的内存就能训练出性能相当的微调模型。