DoRA: Weight-Decomposed Low-Rank Adaptation

摘要 (Abstract):

DoRA 是一种新的参数高效微调(PEFT)方法,它通过将预训练权重分解为幅度(magnitude)和方向(direction)两个组成部分来进行微调。这种方法特别利用了LoRA来进行方向更新,以有效减少可训练参数的数量。DoRA 的目标是模仿全微调(FT)的学习能力,同时避免额外的推理开销。实验结果表明,DoRA 在多个下游任务上,如常识推理、视觉指令调整和图像/视频文本理解,始终优于LoRA。

核心方法 (Core Method):

DoRA 方法的核心在于将预训练的权重矩阵分解为幅度向量(m)和方向矩阵(V),然后对这两个部分进行微调。具体来说,DoRA 使用LoRA 对方向矩阵 V 进行更新,同时允许幅度向量 m 单独训练。这种分解策略简化了LoRA的任务,使其专注于方向适应,同时保持了幅度的可调性。DoRA 的公式可以表示为 W' = m (V + ΔV)/norm = m (W + BA)/norm,其中 ΔV 是通过两个低秩矩阵 B 和 A 学习得到的增量方向更新。

实验结果 (Experimental Results):

DoRA 在多个下游任务上对LLaMA、LLaVA和VL-BART进行微调,实验结果显示DoRA在不牺牲推理效率的情况下,始终优于LoRA。例如,在常识推理任务上,DoRA 在LLaMA-7B/13B上的表现比LoRA提高了3.4/+1.0,在视觉指令调整任务上,DoRA 在LLaVA-7B上提高了0.6,在图像/视频文本理解任务上,DoRA 在VL-BART上提高了0.9/+1.9。

结论 (Conclusion):

DoRA 提供了一种新的PEFT方法,它通过权重分解来实现与FT相似的学习容量,同时保持了与LoRA相同的推理效率。DoRA 在多个任务和模型上的表现优于LoRA,证明了其在参数高效微调方面的潜力。

参考链接 (Reference Link):

相关推荐
知来者逆11 分钟前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
一勺汤14 分钟前
YOLOv11改进-双Backbone架构:利用双backbone提高yolo11目标检测的精度
人工智能·yolo·双backbone·double backbone·yolo11 backbone·yolo 双backbone
阿让啊15 分钟前
C语言中操作字节的某一位
c语言·开发语言·数据结构·单片机·算法
武汉唯众智创16 分钟前
高职人工智能技术应用专业(计算机视觉方向)实训室解决方案
人工智能·计算机视觉·人工智能实训室·计算机视觉实训室·人工智能计算机视觉实训室
এ᭄画画的北北16 分钟前
力扣-160.相交链表
算法·leetcode·链表
Johny_Zhao27 分钟前
MySQL 高可用集群搭建部署
linux·人工智能·mysql·信息安全·云计算·shell·yum源·系统运维·itsm
一只可爱的小猴子36 分钟前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
地瓜机器人42 分钟前
乐聚机器人与地瓜机器人达成战略合作,联合发布Aelos Embodied具身智能
人工智能·机器人
带娃的IT创业者1 小时前
《AI大模型趣味实战》基于RAG向量数据库的知识库AI问答助手设计与实现
数据库·人工智能
__Benco1 小时前
OpenHarmony - 小型系统内核(LiteOS-A)(十),魔法键使用方法,用户态异常信息说明
人工智能·harmonyos