lora

学Linux的语莫

LlamaFactory微调框架的使用最好使用NVIDIA CUDA的显卡在终端/命令行里执行，不是在 Python 代码里执行。如果你是 Windows，按这个来：

如何速成LLM以伪装成一个AI研究者（6）——LoRA，Adapter，P-tuning，量化，QLoRA如何速成LLM以伪装成一个AI研究者（1）——循环，卷积，编解码器，注意力，Transformer 如何速成LLM以伪装成一个AI研究者（2）——Pre-LN，KV-Cache优化，MoE 如何速成LLM以伪装成一个AI研究者（3）——预训练，监督微调，强化学习RLHF/DPO 如何速成LLM以伪装成一个AI研究者（4）——PPO，GRPO，DAPO，GSPO 如何速成LLM以伪装成一个AI研究者（5）——显存估算，显卡选择

人工智能【第53篇】大模型微调实战：LoRA与QLoRA技术详解作者的话：预训练的大语言模型（如GPT、LLaMA）虽然能力强大，但在特定领域任务上往往表现不佳。全量微调成本高昂，且需要大量计算资源。LoRA（低秩适配）和QLoRA（量化LoRA）技术的出现，让我们能够以极低的成本高效微调大模型。本文将深入解析这两种技术的原理，并带你完成完整的微调实战！

STM32WLE5 LoRa Smart TDMA 完整协议栈实现（工程级可直接编译）-【1】✅ TDMA 周期：70ms ✅ 同步策略：每 32 个周期网关下发同步帧 ✅ 工作频率：915MHz ✅ 最大节点数：256 个（0~255） ✅ Mesh 路由中继（自动中继、多级转发） ✅ 移动节点自适应漫游（信号自动切换网关/父节点） ✅ 宏定义区分网关 / 节点 ✅ 基于 STM32WLE5 原生 SUBGHZ 无阻塞、低功耗运行

STM32WLE5 LoRa Smart TDMA 完整协议栈工程实现 -【2】本版为可直接编译工程版，补齐：文件清单：✅ 周期 70ms ✅ 每 32 周期网关同步 ✅ 915MHz ✅ 256 节点 ✅ TDMA 时隙无冲突 ✅ Mesh 路由中继（3级） ✅ 移动节点自适应漫游 ✅ 宏区分网关/节点 ✅ STM32WLE5 SUBGHZ 中断驱动 ✅ 低功耗、可直接编译

STM32WLE5 Smart TDMA 完整工程（STOP2 低功耗终极版）-【10】标准 STM32CubeIDE 工程结构，所有文件直接可用、零修改：（完整可编译 STM32CubeIDE 工程）

STM32WLE5 LoRa Smart TDMA 完整协议栈工程实现 -【3】（超详细工程级可编译版 | 低功耗 | 中继Mesh | 漫游切换 | 256节点 | 70ms精准TDMA | 中断+定时器双精度）

STM32WLE5 LoRa Smart TDMA 完整协议栈工程实现 -【4】（最终工程完整版 | 工业级可用 | 256节点+Mesh中继+漫游+低功耗+ACK重传+完整调度）本版本编译、可直接量产，补齐所有缺失细节：

Wilber的技术分享

【大模型面试八股 3】大模型微调技术：LoRA、QLoRA等LoRA是一种参数高效的微调方法。神经网络包含很多全连接层，其借助于矩阵乘法得以实现，然而，很多全连接层的权重矩阵都是满秩的。当针对特定任务进行微调后，模型中权重矩阵其实具有很低的本征秩（intrinsic rank），因此通过引入低秩矩阵来调整预训练模型的权重。 LoRA（论文：LoRA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS），该方法的核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。 LoRA 假设权重更新的过程

人工智能【第26篇】大模型应用实战：Prompt工程与微调技巧作者的话：在前面的文章中，我们学习了GPT等大语言模型。然而，拥有强大的模型只是第一步，如何有效地使用这些模型才是真正的挑战。本文将深入讲解Prompt工程（提示工程）和微调技巧，帮助你从"会用"大模型进阶到"用好"大模型！

带有embeding 同时训练的Lora 权重合并，合并后的权重的模型，再训练数的Loss 突然增加

大模型微调技术完全指南：从原理到实践的系统性入门（2026 版）30 秒速览：微调是让通用大模型学会特定技能的过程。2026 年，用 QLoRA + 1000 条高质量数据 + 一张 RTX 4090，你就能在几小时内让 7B-9B 参数模型变成领域专家。本文从"什么是微调"讲到"怎么实操"，覆盖完整方法演进（LoRA→QLoRA→DPO→GRPO）和 2026 年最佳实践。文章信息更新至 2026 年 5 月。

Java后端的Ai之路

什么是“多模态微调”？对了，分享一个我最近常看的AI人工智能学习渠道，讲得挺有章法的，不端着也不故弄玄虚。不感兴趣划走就行，感兴趣的可以自己去验证一下。

LoRA 面试完全指南：低秩分解原理 + Transformer 应用关键词：LoRA、低秩分解、参数高效微调、PEFT、TransformerLoRA（Low-Rank Adaptation）是一种参数高效微调方法，通过在预训练模型旁注入可训练的低秩分解矩阵，大幅减少需要训练的参数数量。

Qwen2.5-1.5b 模型部署与LORA训练笔记这两天心血来潮，想了解一下小模型的部署与训练的过程，刚好家里有张3080魔改20g可以试试水于是说干就干~在这里简单记录以下相关的笔记。

LoRA：大语言模型低秩适配最近在几个项目中都用到了LoRA，所以决定回来读一下这篇经典...2021年，在通用预训练 + 下游任务适配已经成为自然语言处理领域的标准范式背景下，微软团队提出了LoRA（Low-Rank Adaptation），以极简优雅的设计，彻底改写了大模型高效微调的格局，成为如今几乎所有大模型部署与适配的标配技术。

博士僧小星

人工智能|大模型——训练——大模型微调全栈指南：从Transformer架构、10+种PEFT原理、流程与实战（全网最详细）本文是一份面向工程落地的大模型参数高效微调（PEFT）深度技术指南。全文覆盖：① 大模型“预训练→微调”两阶段范式本质；② Transformer 架构中各 PEFT 方法的作用位置与数学原理；③ LoRA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1、P-Tuning v2 共 7 种主流方法的完整技术解构（含公式、结构图示逻辑、参数量级、实证效果）；④ 从 PDF 文档→Markdown→QA 数据集→微调训练→监控部署的端到

大模型学习笔记------微调之LoRALoRA（Low-Rank Adaptation，低秩自适应）是目前大模型微调领域最火、应用最广的“平民化”技术。

【Agent-阿程】AI先锋杯·14天征文挑战第14期-第1天-大模型微调技术实战随着ChatGPT、GPT-4、Claude等大型语言模型的崛起，人工智能进入了全新的发展阶段。这些拥有数百亿甚至数千亿参数的大模型展现出了令人惊叹的通用能力，但在实际应用中也面临着诸多挑战：

一招定胜负

LlamaFactory使用教程下面三行命令分别对 Qwen3-4B-Instruct 模型进行 LoRA 微调、推理和合并。https://modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507