lora

Wilber的技术分享

【大模型面试八股 3】大模型微调技术：LoRA、QLoRA等LoRA是一种参数高效的微调方法。神经网络包含很多全连接层，其借助于矩阵乘法得以实现，然而，很多全连接层的权重矩阵都是满秩的。当针对特定任务进行微调后，模型中权重矩阵其实具有很低的本征秩（intrinsic rank），因此通过引入低秩矩阵来调整预训练模型的权重。 LoRA（论文：LoRA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS），该方法的核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。 LoRA 假设权重更新的过程

人工智能【第26篇】大模型应用实战：Prompt工程与微调技巧作者的话：在前面的文章中，我们学习了GPT等大语言模型。然而，拥有强大的模型只是第一步，如何有效地使用这些模型才是真正的挑战。本文将深入讲解Prompt工程（提示工程）和微调技巧，帮助你从"会用"大模型进阶到"用好"大模型！

带有embeding 同时训练的Lora 权重合并，合并后的权重的模型，再训练数的Loss 突然增加

大模型微调技术完全指南：从原理到实践的系统性入门（2026 版）30 秒速览：微调是让通用大模型学会特定技能的过程。2026 年，用 QLoRA + 1000 条高质量数据 + 一张 RTX 4090，你就能在几小时内让 7B-9B 参数模型变成领域专家。本文从"什么是微调"讲到"怎么实操"，覆盖完整方法演进（LoRA→QLoRA→DPO→GRPO）和 2026 年最佳实践。文章信息更新至 2026 年 5 月。

Java后端的Ai之路

什么是“多模态微调”？对了，分享一个我最近常看的AI人工智能学习渠道，讲得挺有章法的，不端着也不故弄玄虚。不感兴趣划走就行，感兴趣的可以自己去验证一下。

LoRA 面试完全指南：低秩分解原理 + Transformer 应用关键词：LoRA、低秩分解、参数高效微调、PEFT、TransformerLoRA（Low-Rank Adaptation）是一种参数高效微调方法，通过在预训练模型旁注入可训练的低秩分解矩阵，大幅减少需要训练的参数数量。

Qwen2.5-1.5b 模型部署与LORA训练笔记这两天心血来潮，想了解一下小模型的部署与训练的过程，刚好家里有张3080魔改20g可以试试水于是说干就干~在这里简单记录以下相关的笔记。

LoRA：大语言模型低秩适配最近在几个项目中都用到了LoRA，所以决定回来读一下这篇经典...2021年，在通用预训练 + 下游任务适配已经成为自然语言处理领域的标准范式背景下，微软团队提出了LoRA（Low-Rank Adaptation），以极简优雅的设计，彻底改写了大模型高效微调的格局，成为如今几乎所有大模型部署与适配的标配技术。

博士僧小星

人工智能|大模型——训练——大模型微调全栈指南：从Transformer架构、10+种PEFT原理、流程与实战（全网最详细）本文是一份面向工程落地的大模型参数高效微调（PEFT）深度技术指南。全文覆盖：① 大模型“预训练→微调”两阶段范式本质；② Transformer 架构中各 PEFT 方法的作用位置与数学原理；③ LoRA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1、P-Tuning v2 共 7 种主流方法的完整技术解构（含公式、结构图示逻辑、参数量级、实证效果）；④ 从 PDF 文档→Markdown→QA 数据集→微调训练→监控部署的端到

大模型学习笔记------微调之LoRALoRA（Low-Rank Adaptation，低秩自适应）是目前大模型微调领域最火、应用最广的“平民化”技术。

【Agent-阿程】AI先锋杯·14天征文挑战第14期-第1天-大模型微调技术实战随着ChatGPT、GPT-4、Claude等大型语言模型的崛起，人工智能进入了全新的发展阶段。这些拥有数百亿甚至数千亿参数的大模型展现出了令人惊叹的通用能力，但在实际应用中也面临着诸多挑战：

一招定胜负

LlamaFactory使用教程下面三行命令分别对 Qwen3-4B-Instruct 模型进行 LoRA 微调、推理和合并。https://modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507

用什么都重名

大模型微调框架 LLaMA-Factory 实战指南目录一、前言二、安装部署2.1 环境依赖2.2 环境验证2.3 UI界面三、数据集说明3.1 数据集格式

FastAPI + Ollama 实战：搭一个能查天气的AI助手我盯着手机，脑子里闪过一万个念头：从头训练？没卡；调API？数据出局；用开源模型？怎么让它懂实时天气？

垂域大模型评估不再靠“感觉”：用结构化测试集+自动化打分实现效果可量化当前大模型在垂直领域的落地已从“能不能跑”进入“跑得好不好”的阶段。开发者普遍发现，微调一个模型或搭建一套RAG系统并不算最难，真正的瓶颈在于缺乏一套可靠、高效、可复现的评估机制。很多团队依赖人工试用，靠“感觉”判断模型是否变好，这种做法在初期或许可行，但一旦进入迭代优化阶段，主观判断无法支撑工程决策。尤其在企业场景中，业务文档高度专业化，通用评测集（如MMLU、C-Eval）覆盖不足，而人工构造高质量测试集成本极高。更棘手的是，模型可能在训练损失下降的同时，出现知识幻觉、逻辑断裂或通用能力退化等问题，这

无名修道院

自学AI制作小游戏核心目标：纯 Windows CPU 环境、全程零成本使用开源工具 / 免费模型，学完能独立完成「本地部署 AI + 开发 Agent→AI 自动生成游戏内容→零代码制作小游戏；

基于泰山派PiKVM的多电脑KVM共享方案（HDMI采集+虚拟USB键鼠+无缝切换+剪贴板/文件共享）泰山派（全志T113-S3）是适配PiKVM的高性价比嵌入式开发板，具备硬件HDMI IN采集（TC358743芯片）、USB OTG（Host/Device双模）、HDMI OUT、千兆网口等核心特性，完美适配KVM场景。本方案基于泰山派实现多台电脑共享一套物理键鼠、HDMI视频低延迟预览、无缝屏幕切换、剪贴板双向同步、文件拖放功能，完全替代传统KVM切换器，且具备软件灵活扩展优势。

勇气要爆发

Docker+Ollama+LangChain：从零搭建企业级“隐私优先”本地 RAG 知识库 (附源码)作者：飞哥（一个喜欢讲故事的全栈开发者，擅长把复杂的代码翻译成“人话”）难度：⭐⭐⭐⭐ 关键词：Ollama, Llama 3, Docker, Docker Compose, RAG, LoRA

LLCC68 L型与π型匹配网络的调试方法详细拆解L型与π型匹配网络的调试方法，紧扣LLCC68芯片特性及915MHz/433MHz频段需求，结合官方参数与实测表格数据，区分优先级与场景适配，确保与原有文档内容衔接流畅、逻辑闭环。

LLM语言模型Lora微调我们在使用LLM的时候,有些情况下需要改变LLM模型的特性,比如 1 按照某种格式输出 2 调整输出语气 3 让模型回答它是由谁构建的 4 增加专业领域知识