lora

LoRA: Low-Rank Adaptation of Large Language Models论文链接：https://arxiv.org/pdf/2106.09685v1/1000大模型下游迁移微调是行业落地的关键环节，传统全参数微调存在参数量大、算力消耗高、权重分发不便、易发生原有知识覆盖等缺陷。Adapter、Prefix Tuning、Prompt Tuning 等一系列参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）方案被陆续提出，其中低秩自适应（ Low-Rank Adaptation，LoRA）[1]方案凭借收敛速度快、推理无额外延迟、兼容性强

大模型微调实战：LoRA 与 QLoRA 原理精讲大语言模型（LLM）虽然在通用场景表现优异，但在特定领域任务上往往力不从心。以 GPT-4 为例，它在医学诊断、法律文书、企业私有知识等垂直场景的表现明显不足。**全量微调（Full Fine-tuning）**虽然效果最好，但开销巨大——训练 LLaMA-65B 需要 780GB+ 显存，绝非普通团队所能承受。

【DNN】基于llama.cpp的Qwen3-0.6B量化部署微调3.3 模型转换

行者-全栈开发

【智慧防洪】水利物联网监测网络设计：从传感器选型到边缘计算的完整实践💡 摘要: 物联网是智慧水利的感知基石。本文深入解析水利物联网监测网络的完整架构，涵盖传感器技术选型（水位、雨量、流速、含沙量）、RTU 终端设计、通信协议对比（MQTT、CoAP、Modbus）、边缘计算策略、网络安全防护等核心技术。通过汉江、长江、黄河的实际部署案例，展示如何构建高可靠、低功耗、易维护的水利 IoT 网络。提供完整的硬件配置清单、代码示例和成本核算，助力水利信息化基础设施建设。

学Linux的语莫

LlamaFactory微调框架的使用最好使用NVIDIA CUDA的显卡在终端/命令行里执行，不是在 Python 代码里执行。如果你是 Windows，按这个来：

如何速成LLM以伪装成一个AI研究者（6）——LoRA，Adapter，P-tuning，量化，QLoRA如何速成LLM以伪装成一个AI研究者（1）——循环，卷积，编解码器，注意力，Transformer 如何速成LLM以伪装成一个AI研究者（2）——Pre-LN，KV-Cache优化，MoE 如何速成LLM以伪装成一个AI研究者（3）——预训练，监督微调，强化学习RLHF/DPO 如何速成LLM以伪装成一个AI研究者（4）——PPO，GRPO，DAPO，GSPO 如何速成LLM以伪装成一个AI研究者（5）——显存估算，显卡选择

人工智能【第53篇】大模型微调实战：LoRA与QLoRA技术详解作者的话：预训练的大语言模型（如GPT、LLaMA）虽然能力强大，但在特定领域任务上往往表现不佳。全量微调成本高昂，且需要大量计算资源。LoRA（低秩适配）和QLoRA（量化LoRA）技术的出现，让我们能够以极低的成本高效微调大模型。本文将深入解析这两种技术的原理，并带你完成完整的微调实战！

STM32WLE5 LoRa Smart TDMA 完整协议栈实现（工程级可直接编译）-【1】✅ TDMA 周期：70ms ✅ 同步策略：每 32 个周期网关下发同步帧 ✅ 工作频率：915MHz ✅ 最大节点数：256 个（0~255） ✅ Mesh 路由中继（自动中继、多级转发） ✅ 移动节点自适应漫游（信号自动切换网关/父节点） ✅ 宏定义区分网关 / 节点 ✅ 基于 STM32WLE5 原生 SUBGHZ 无阻塞、低功耗运行

STM32WLE5 LoRa Smart TDMA 完整协议栈工程实现 -【2】本版为可直接编译工程版，补齐：文件清单：✅ 周期 70ms ✅ 每 32 周期网关同步 ✅ 915MHz ✅ 256 节点 ✅ TDMA 时隙无冲突 ✅ Mesh 路由中继（3级） ✅ 移动节点自适应漫游 ✅ 宏区分网关/节点 ✅ STM32WLE5 SUBGHZ 中断驱动 ✅ 低功耗、可直接编译

STM32WLE5 Smart TDMA 完整工程（STOP2 低功耗终极版）-【10】标准 STM32CubeIDE 工程结构，所有文件直接可用、零修改：（完整可编译 STM32CubeIDE 工程）

STM32WLE5 LoRa Smart TDMA 完整协议栈工程实现 -【3】（超详细工程级可编译版 | 低功耗 | 中继Mesh | 漫游切换 | 256节点 | 70ms精准TDMA | 中断+定时器双精度）

STM32WLE5 LoRa Smart TDMA 完整协议栈工程实现 -【4】（最终工程完整版 | 工业级可用 | 256节点+Mesh中继+漫游+低功耗+ACK重传+完整调度）本版本编译、可直接量产，补齐所有缺失细节：

Wilber的技术分享

【大模型面试八股 3】大模型微调技术：LoRA、QLoRA等LoRA是一种参数高效的微调方法。神经网络包含很多全连接层，其借助于矩阵乘法得以实现，然而，很多全连接层的权重矩阵都是满秩的。当针对特定任务进行微调后，模型中权重矩阵其实具有很低的本征秩（intrinsic rank），因此通过引入低秩矩阵来调整预训练模型的权重。 LoRA（论文：LoRA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS），该方法的核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。 LoRA 假设权重更新的过程

人工智能【第26篇】大模型应用实战：Prompt工程与微调技巧作者的话：在前面的文章中，我们学习了GPT等大语言模型。然而，拥有强大的模型只是第一步，如何有效地使用这些模型才是真正的挑战。本文将深入讲解Prompt工程（提示工程）和微调技巧，帮助你从"会用"大模型进阶到"用好"大模型！

带有embeding 同时训练的Lora 权重合并，合并后的权重的模型，再训练数的Loss 突然增加

大模型微调技术完全指南：从原理到实践的系统性入门（2026 版）30 秒速览：微调是让通用大模型学会特定技能的过程。2026 年，用 QLoRA + 1000 条高质量数据 + 一张 RTX 4090，你就能在几小时内让 7B-9B 参数模型变成领域专家。本文从"什么是微调"讲到"怎么实操"，覆盖完整方法演进（LoRA→QLoRA→DPO→GRPO）和 2026 年最佳实践。文章信息更新至 2026 年 5 月。

Java后端的Ai之路

什么是“多模态微调”？对了，分享一个我最近常看的AI人工智能学习渠道，讲得挺有章法的，不端着也不故弄玄虚。不感兴趣划走就行，感兴趣的可以自己去验证一下。

LoRA 面试完全指南：低秩分解原理 + Transformer 应用关键词：LoRA、低秩分解、参数高效微调、PEFT、TransformerLoRA（Low-Rank Adaptation）是一种参数高效微调方法，通过在预训练模型旁注入可训练的低秩分解矩阵，大幅减少需要训练的参数数量。

Qwen2.5-1.5b 模型部署与LORA训练笔记这两天心血来潮，想了解一下小模型的部署与训练的过程，刚好家里有张3080魔改20g可以试试水于是说干就干~在这里简单记录以下相关的笔记。

LoRA：大语言模型低秩适配最近在几个项目中都用到了LoRA，所以决定回来读一下这篇经典...2021年，在通用预训练 + 下游任务适配已经成为自然语言处理领域的标准范式背景下，微软团队提出了LoRA（Low-Rank Adaptation），以极简优雅的设计，彻底改写了大模型高效微调的格局，成为如今几乎所有大模型部署与适配的标配技术。