lora

LoRA 面试完全指南：低秩分解原理 + Transformer 应用关键词：LoRA、低秩分解、参数高效微调、PEFT、TransformerLoRA（Low-Rank Adaptation）是一种参数高效微调方法，通过在预训练模型旁注入可训练的低秩分解矩阵，大幅减少需要训练的参数数量。

Qwen2.5-1.5b 模型部署与LORA训练笔记这两天心血来潮，想了解一下小模型的部署与训练的过程，刚好家里有张3080魔改20g可以试试水于是说干就干~在这里简单记录以下相关的笔记。

LoRA：大语言模型低秩适配最近在几个项目中都用到了LoRA，所以决定回来读一下这篇经典...2021年，在通用预训练 + 下游任务适配已经成为自然语言处理领域的标准范式背景下，微软团队提出了LoRA（Low-Rank Adaptation），以极简优雅的设计，彻底改写了大模型高效微调的格局，成为如今几乎所有大模型部署与适配的标配技术。

博士僧小星

人工智能|大模型——训练——大模型微调全栈指南：从Transformer架构、10+种PEFT原理、流程与实战（全网最详细）本文是一份面向工程落地的大模型参数高效微调（PEFT）深度技术指南。全文覆盖：① 大模型“预训练→微调”两阶段范式本质；② Transformer 架构中各 PEFT 方法的作用位置与数学原理；③ LoRA、QLoRA、Adapter Tuning、Prefix Tuning、Prompt Tuning、P-Tuning v1、P-Tuning v2 共 7 种主流方法的完整技术解构（含公式、结构图示逻辑、参数量级、实证效果）；④ 从 PDF 文档→Markdown→QA 数据集→微调训练→监控部署的端到

大模型学习笔记------微调之LoRALoRA（Low-Rank Adaptation，低秩自适应）是目前大模型微调领域最火、应用最广的“平民化”技术。

【Agent-阿程】AI先锋杯·14天征文挑战第14期-第1天-大模型微调技术实战随着ChatGPT、GPT-4、Claude等大型语言模型的崛起，人工智能进入了全新的发展阶段。这些拥有数百亿甚至数千亿参数的大模型展现出了令人惊叹的通用能力，但在实际应用中也面临着诸多挑战：

一招定胜负

LlamaFactory使用教程下面三行命令分别对 Qwen3-4B-Instruct 模型进行 LoRA 微调、推理和合并。https://modelscope.cn/models/Qwen/Qwen3-4B-Instruct-2507

用什么都重名

大模型微调框架 LLaMA-Factory 实战指南目录一、前言二、安装部署2.1 环境依赖2.2 环境验证2.3 UI界面三、数据集说明3.1 数据集格式

FastAPI + Ollama 实战：搭一个能查天气的AI助手我盯着手机，脑子里闪过一万个念头：从头训练？没卡；调API？数据出局；用开源模型？怎么让它懂实时天气？

垂域大模型评估不再靠“感觉”：用结构化测试集+自动化打分实现效果可量化当前大模型在垂直领域的落地已从“能不能跑”进入“跑得好不好”的阶段。开发者普遍发现，微调一个模型或搭建一套RAG系统并不算最难，真正的瓶颈在于缺乏一套可靠、高效、可复现的评估机制。很多团队依赖人工试用，靠“感觉”判断模型是否变好，这种做法在初期或许可行，但一旦进入迭代优化阶段，主观判断无法支撑工程决策。尤其在企业场景中，业务文档高度专业化，通用评测集（如MMLU、C-Eval）覆盖不足，而人工构造高质量测试集成本极高。更棘手的是，模型可能在训练损失下降的同时，出现知识幻觉、逻辑断裂或通用能力退化等问题，这

无名修道院

自学AI制作小游戏核心目标：纯 Windows CPU 环境、全程零成本使用开源工具 / 免费模型，学完能独立完成「本地部署 AI + 开发 Agent→AI 自动生成游戏内容→零代码制作小游戏；

基于泰山派PiKVM的多电脑KVM共享方案（HDMI采集+虚拟USB键鼠+无缝切换+剪贴板/文件共享）泰山派（全志T113-S3）是适配PiKVM的高性价比嵌入式开发板，具备硬件HDMI IN采集（TC358743芯片）、USB OTG（Host/Device双模）、HDMI OUT、千兆网口等核心特性，完美适配KVM场景。本方案基于泰山派实现多台电脑共享一套物理键鼠、HDMI视频低延迟预览、无缝屏幕切换、剪贴板双向同步、文件拖放功能，完全替代传统KVM切换器，且具备软件灵活扩展优势。

勇气要爆发

Docker+Ollama+LangChain：从零搭建企业级“隐私优先”本地 RAG 知识库 (附源码)作者：飞哥（一个喜欢讲故事的全栈开发者，擅长把复杂的代码翻译成“人话”）难度：⭐⭐⭐⭐ 关键词：Ollama, Llama 3, Docker, Docker Compose, RAG, LoRA

LLCC68 L型与π型匹配网络的调试方法详细拆解L型与π型匹配网络的调试方法，紧扣LLCC68芯片特性及915MHz/433MHz频段需求，结合官方参数与实测表格数据，区分优先级与场景适配，确保与原有文档内容衔接流畅、逻辑闭环。

LLM语言模型Lora微调我们在使用LLM的时候,有些情况下需要改变LLM模型的特性,比如 1 按照某种格式输出 2 调整输出语气 3 让模型回答它是由谁构建的 4 增加专业领域知识

ManThink Technology

两步实现在ThinkLink平台上的告警功能ThinkLink 的告警通知功能是基于平台强大的 RPC (Remote Procedure Call) 机制实现的。通过将告警逻辑封装在触发联动模型中，平台能够根据设备上报的数据实时判断是否达到告警条件，并调用预设的 alarm 类型 RPC 消息，实现告警的触发和消除，并通知相关用户或系统。

使用 `ms-swift` 微调 Qwen3-VL-2B 详细指南本文仅针对图片OCR场景训练。租赁的AutoDL服务器，配置如下：使用情况如下：综上，不用租配置太高的显卡。

Swift SFT Qwen-VL LoRA 微调指令详解接上文：使用 ms-swift 微调 Qwen3-VL-2B 详细指南这条指令是使用 ModelScope Swift 框架对 Qwen-VL（视觉语言大模型）进行 LoRA 微调的完整脚本。

超越LoRA：参数高效强化学习方法的全面评估与突破随着大语言模型在数学推理等复杂任务中展现出卓越能力，基于可验证奖励的强化学习（RLVR）已成为进一步提升模型推理能力的主流范式。然而，面对计算资源密集的RL训练，如何选择最优的参数高效方法成为关键问题。本文首次对12种PEFT方法在RLVR场景下进行了系统性评估，挑战了默认使用标准LoRA的惯例，揭示了结构变体、SVD初始化策略和表达性下限等重要发现。

在CH585M代码中如何精细化配置PMU（电源管理单元）和RAM保留CH585M的低功耗核心是「PMU下电模式」和「RAM保留分级」的组合，两者直接决定休眠功耗：CH585M的SDK提供了2个核心函数，是精细化配置的基础，先理解参数含义：