QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

本文是LLM系列文章,针对《QA-LORA: QUANTIZATION-AWARE LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》的翻译。

Qa-lora:大型语言模型的量化感知低秩自适应

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 提出的方法](#3 提出的方法)
  • [4 实验](#4 实验)
  • [5 结论](#5 结论)

摘要

近年来,大型语言模型(llm)得到了迅速的发展。尽管llm在许多语言理解任务中具有很强的能力,但沉重的计算负担在很大程度上限制了llm的应用,特别是当需要将它们部署到边缘设备上时。本文提出了一种量化感知的低秩自适应(QA-LoRA)算法。其原因在于量化自由度与自适应自由度不平衡,解决方法是采用群算子,提高量化自由度,降低自适应自由度。QA-LoRA很容易用几行代码实现,它为原始LoRA提供了双重能力:(i)在微调期间,LLM的权重被量化(例如,进入INT4),以减少时间和内存使用;(ii)微调后,LLM和辅助权重自然地整合到一个量化模型中,而不损失精度。我们将QA-LoRA应用于LLaMA和LLaMA2模型家族,并在不同的微调数据集和下游场景中验证了其有效性。代码将在https://github.com/ yuhuixu1993/qa-lora上提供。

1 引言

2 相关工作

3 提出的方法

4 实验

5 结论

本文提出了一种将量化感知引入llm低秩自适应的有效方法------QA-LoRA。QA-LoRA的核心在于量化和低级别适应的分组操作,关键的洞察力来自于平衡这两个方面的自由度。QA-LoRA易于实现,可以跨各种基础模型和语言理解任务进行推广,并且在微调和推理阶段都具有计算效率。在LLaMA模型族上的大量实验验证了QA-LoRA的有效性。

相关推荐
OAFD.5 小时前
机器学习之线性回归:原理、实现与实践
人工智能·机器学习·线性回归
SHIPKING3937 小时前
【机器学习&深度学习】LMDeploy的分布式推理实现
人工智能·深度学习
mit6.8247 小时前
[RestGPT] docs | RestBench评估 | 配置与环境
人工智能·python
CareyWYR8 小时前
每周AI论文速递(250818-250822)
人工智能
门思科技8 小时前
LoRaWAN 的网络拓扑全解析:架构、原理与应用实践
服务器·网络·人工智能·科技·物联网·架构
兔子的倔强8 小时前
Transformer在文本、图像和点云数据中的应用——经典工作梳理
人工智能·深度学习·transformer
lxmyzzs9 小时前
【图像算法 - 21】慧眼识虫:基于深度学习与OpenCV的农田害虫智能识别系统
人工智能·深度学习·opencv·算法·yolo·目标检测·计算机视觉
Gloria_niki9 小时前
机器学习之K 均值聚类算法
人工智能·机器学习
AI人工智能+9 小时前
表格识别技术:通过图像处理与深度学习,将非结构化表格转化为可编辑结构化数据,推动智能化发展
人工智能·深度学习·ocr·表格识别
深圳多奥智能一卡(码、脸)通系统9 小时前
智能二维码QR\刷IC卡\人脸AI识别梯控系统功能设计需基于模块化架构,整合物联网、生物识别、权限控制等技术,以下是多奥分层次的系统设计框架
人工智能·门禁·电梯门禁·二维码梯控·梯控·电梯