lora

全栈探索者2 天前
人工智能·macos·lora·aigc·stablediffusion·comfyui
一枚 162MB 的挂件,改写一只猫的画风:LoRA 实战——风格定制与人脸保持本文是《Mac mini 玩转 ComfyUI》专栏第 7 篇。实测环境:Mac mini M5 Pro / 64GB / ComfyUI v0.42.5 / Z-Image turbo bf16(4 步 / cfg 1.0 / euler+simple / 1024×1024)。全部样张来自 2026-10-27 本轮 LoRA 实验:同 seed(111)、只改一处变量,脚本与原始产物留档见文末。
编码追梦人3 天前
嵌入式硬件·lora·设计规范·esp-idf·esp32-c3·低功耗设计
ESP-IDF 实战:用 ESP32-C3 打造超低功耗 LoRa 无线传感器节点(深度睡眠 + OTA 全解析)关键词:ESP32-C3、ESP-IDF v5.x、LoRa (SX1276)、深度睡眠、RTC 内存持久化、OTA 升级、功耗优化
小易老师AI实战9 天前
lora·peft·prefix-tuning·全参微调·p-tuning·大模型微调·大模型面试
大模型微调:全参微调、PEFT系列方法核心区别(重点LoRA)做大模型落地、RAG之外的定制化能力开发,微调是绕不开的技术。面试中经常会问到:全参微调和PEFT的区别?LoRA对比Prefix-Tuning、P-Tuning优势在哪? 很多人只知道LoRA好用,但说不清底层差异、优缺点和推理侧代价。本文把主流微调方案统一整理,适合面试背诵+工程选型参考。
goehou9 天前
深度学习·lora·大模型·模型微调
LoRA 微调实战 - 显存、标签掩码与合并部署的踩坑记录(附清单)运营上周提了个需求。客服机器人要能答一批内部产品术语,通用模型答得含糊。想全量微调,一算显存就放弃了,6B 的模型全参训练,优化器状态加梯度缓存,80GB 的卡都紧张。最后用 LoRA 在单卡 24GB 上跑通。从装环境到出第一个 adapter 用了两天,大头全在排错。这篇把配置和三个坑整理出来,照着走能少绕路。
我有酒两杯12 天前
人工智能·深度学习·机器学习·lora·大语言模型
从一条样本看懂 Kev:数据、模型、训练与推理Kev 用语言模型读取状态、问题和候选项,再为每个候选项计算概率。本文沿一条退款记录,解释它如何进入数据集、变成 token、产生损失,最后作为 API 请求返回决策。
这张生成的图像能检测吗1 个月前
人工智能·lora·扩散模型·高分辨率成像·结构健康监测
(论文速读)DI-CDM:微调条件扩散模型在结构健康监测中的损伤成像论文题目:Damage imaging in structural health monitoring with fine-tuned conditional diffusion model(微调条件扩散模型在结构健康监测中的损伤成像)
guoran_shini1 个月前
python·lora·sft
LLM微调-训练垂类问答模型目录一、数据下载二、模型下载三、模型微调1)数据处理:收集和清洗Step 1: 数据收集Step 2: 数据清洗
板面华仔1 个月前
lora·aigc·cv
针对AIGC汽车造型领域的Lora微调(一)在汽车造型领域,进行Lora的领域微调的核心目的:让模型能够稳定输出某一风格或特征;比如,在我汽车概念设计阶段,我就想要这个汽车能够拥有风云A9的曲线,路虎的前脸;但是,模型可能不知道什么是风云A9,什么是路虎的前脸;那这就需要对生图模型进行领域微调!
iowin8881 个月前
lora·语音识别·离线语音·离线语音通断器
离线语音 + 无线控制:“断网可用“的智能家居怎么做?做智能家居方案这些年,被业主问得最多的问题不是"能控制多少设备",而是——"路由器一关,我的灯还能开吗?"
华普微HOPERF1 个月前
物联网·lora·智慧水表·智慧电表
远距离、低功耗、大容量,RFM6601如何打造可靠的LoRaWAN网络随着智能表计、智慧消防、智慧农业、智慧城市等物联网应用的快速发展,越来越多的终端设备需在复杂环境下具备远距离、低功耗、高可靠的无线传输能力。
论文复现现场1 个月前
lora·sdxl·stablediffusion·diffusers·rtx4090
算家云 RTX 4090 怎么训练 SDXL LoRA?24GB 显存配置、CUDA OOM 排查与断点续训发布时间:2026 年 9 月 14 日单张 24GB RTX 4090 可以作为 SDXL LoRA 训练的起始配置。建议先用 768 分辨率、batch size 1 和 100 步小样本完成显存、出图及断点恢复验收,再决定是否提高到 1024 分辨率和正式训练步数。
Allen.Su2 个月前
人工智能·python·lora·大模型微调
大模型 LoRA 微调全流程实战 - 车载问答全流程(跑通 + 参数详解 + 训练日志逐行解读 + 模型合并)运行环境:Windows 11 + Python 3.10 + PyTorch(CPU) + transformers 5.x + peft 基座模型:Qwen1.5-1.8B-Chat | 数据规模:30 条车载问答 | 训练耗时:CPU 约 34 分钟 源码仓库(Gitee):https://gitee.com/allensu0108/llm-fine-tuning | 训练脚本、合并脚本、30 条数据与 README 全在里面,可直接克隆运行: git clone https://gitee.com
weixin_440213292 个月前
lora·大模型·peft·qlora·dora·大模型微调·参数高效微调
大模型参数高效微调:PEFT、LoRA、QLoRA、DoRA原理与对比摘要:大模型全参微调硬件门槛极高,PEFT参数高效微调成为工业界主流方案。本文讲解PEFT核心概念,对比LoRA、QLoRA、DoRA三者原理、优缺点、适用场景,附带代码示例与选型建议,帮助快速落地大模型微调。
孙启超2 个月前
人工智能·lora·llm·微调·sft·token·rlhf
【大模型应用开发】LLM 到底是什么,以及它是怎么训练的你有没有想过一个问题:为什么 ChatGPT 能跟你对话?它不是"搜答案"。如果你问它"1+1 等于几",它不是去百度查,而是"算"出来的。更准确地说,是"生成"出来的——它基于你输入的文字,一个 token 一个 token 地预测下一个字该是什么。
美人胖八分3 个月前
lora·大语言模型·deepspeed·qlora
大模型常见微调框架对比微调框架的价值不只在于启动训练,还要正确处理聊天模板、损失掩码、4-bit 基座加载、LoRA 注入、分布式检查点与权重导出。选型前应分清层级:Transformers 提供模型、Tokenizer 和通用 Trainer;PEFT 实现 LoRA 等参数高效方法;Accelerate 统一设备和任务启动;DeepSpeed ZeRO、PyTorch FSDP 负责切分参数、梯度与优化器状态;Megatron-Core 则提供张量、流水线、上下文和专家并行。LLaMA-Factory、Axolotl 和
laforet3 个月前
stable diffusion·lora·fp8
Stable Diffusion 3.5 FP8模型支持自定义训练数据集接入你有没有遇到过这样的场景:好不容易搭好了 Stable Diffusion 的推理服务,结果一跑高分辨率图,显存直接爆了?😱 或者用户等着生成海报,系统却卡在“去噪中”整整十几秒……这在生产环境里简直没法忍。
张彦峰ZYF4 个月前
人工智能·lora·llm·embedding·rag·few-shot
大模型LLM ACA - ACP认证考试真题冲刺演练二答案参考目录一、大模型LLM ACA - ACP认证考试二、大模型LLM ACA - ACP认证考试真题冲刺演练一
emfuture4 个月前
人工智能·科技·lora·知识图谱·工业大模型·垂类微调·工控ai
中嵌科技“岷山“实验室技术拆解:基于 DeepSeek-7B 的工控垂类模型,怎么把推理压到 50ms 以内?通用 LLM 在工业实时控制场景水土不服(延迟、精度、改造成本三座山)。本文拆解中嵌科技"岷山"工业人工智能实验室的技术路径:基于 DeepSeek-LLM-7B-Base,用 LoRA+MoE 微调 + INT4/8 混合量化 + 30% 结构化剪枝 + 知识蒸馏,把 7B 级模型压到原体积 15%-20%、精度损 <1%、端到端推理 ≤50ms,并能原生对接现有 DCS/PLC 架构不改控制回路。附参数表与白皮书锚点。
troubles maker4 个月前
语言模型·自然语言处理·lora·大模型·peft
LoRA: Low-Rank Adaptation of Large Language Models论文链接:https://arxiv.org/pdf/2106.09685v1/1000大模型下游迁移微调是行业落地的关键环节,传统全参数微调存在参数量大、算力消耗高、权重分发不便、易发生原有知识覆盖等缺陷。Adapter、Prefix Tuning、Prompt Tuning 等一系列参数高效微调(Parameter-Efficient Fine-Tuning,PEFT)方案被陆续提出,其中低秩自适应( Low-Rank Adaptation,LoRA)[1]方案凭借收敛速度快、推理无额外延迟、兼容性强
虎妞05004 个月前
深度学习·lora·大模型·微调·qlora
大模型微调实战:LoRA 与 QLoRA 原理精讲大语言模型(LLM)虽然在通用场景表现优异,但在特定领域任务上往往力不从心。以 GPT-4 为例,它在医学诊断、法律文书、企业私有知识等垂直场景的表现明显不足。**全量微调(Full Fine-tuning)**虽然效果最好,但开销巨大——训练 LLaMA-65B 需要 780GB+ 显存,绝非普通团队所能承受。