深度学习论文: Q-YOLO: Efficient Inference for Real-time Object Detection及其PyTorch实现

深度学习论文: Q-YOLO: Efficient Inference for Real-time Object Detection及其PyTorch实现

Q-YOLO: Efficient Inference for Real-time Object Detection

PDF: https://arxiv.org/pdf/2307.04816.pdf

PyTorch代码: https://github.com/shanglianlm0525/CvPytorch

PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

本文介绍了一种低比特量化方法,名为Q-YOLO,用于构建高效的一阶段检测器。Q-YOLO能够有效解决传统量化YOLO模型中由于激活分布不平衡而导致的性能下降问题。Q-YOLO引入了完全端到端的后训练量化(PTQ)流程,并采用了精心设计的单侧直方图(UH)激活量化方案。该方案通过直方图分析确定最大截断值,从而最小化均方误差(MSE)量化误差。在COCO数据集上进行了大量实验,结果表明Q-YOLO的有效性,它在精度和计算成本之间取得了更有利的平衡,并且优于其他PTQ方法。

在YOLOv5s模型的model.21.conv层中绘制了激活值分布直方图(使用2048个箱子)。观察到值在0和-0.2785之间的出现频率非常高,而大于零的值的频率显著减少,这表明激活值存在严重的不平衡现象。

2 Q-YOLO

Q-YOLO对YOLO模型的骨干、中间和头部模块进行量化,并使用标准的MinMax量化方法对权重进行处理。为了解决激活分布不平衡的问题,我们引入了一种新颖的方法,称为基于单侧直方图(UH)的激活量化。UH通过直方图迭代地确定最大截断值,从而最小化量化误差。这种技术显著减少了校准时间,并有效地解决了量化引起的差异,优化了量化过程以保持稳定的激活量化。通过减少激活量化中的信息损失,我们的方法确保了准确的目标检测结果,从而实现了精确可靠的低比特实时目标检测性能。

量化范围设置是建立量化网格的上下截断阈值(分别表示为u和l)的过程。范围设置中的关键权衡在于两种类型的误差之间的平衡:截断误差舍入误差 。当数据被截断以适应预定义的网格限制时,就会产生截断误差。这种截断导致了信息的丢失,并降低了结果量化表示的精度。另一方面,舍入误差是由于舍入操作引入的不准确性而产生的。这种误差会随着时间的推移而累积,并对量化表示的整体准确性产生影响。
MinMax : 没有截断误差。但是对异常值很敏感,强烈的异常值可能会导致过多的舍入误差。
Mean Squared Error (MSE) :一定程度上可以缓解大异常值的问题。
Unilateral Histogram-based (UH) :本文观察到数值分布集中在下界附近,并伴随着在零以上的出现次数明显减少。对激活值的进一步分析揭示了经验值-0.2785作为下界。这主要是由于YOLO系列中频繁使用的Swish(SILU)激活函数导致的。根据经验证据,我们引入了一种称为单边基于直方图(UH)激活量化的非对称量化方法。在UH中,将最小截断值固定为-0.2785,同时通过迭代确定最小化量化误差的最大截断值,如下所示:

Unilateral Histogram-based (UH)如下:

UH激活量化方法具有两个关键优势。

  • 首先,它显著减少了校准时间。
  • 其次,它通过允许更大的整数集合来表示在0和-0.2785之间频繁出现的激活值,从而提高了量化精度,确保了稳定的激活量化。

3 Experiments

相关推荐
浠寒AI37 分钟前
智能体模式篇(上)- 深入 ReAct:LangGraph构建能自主思考与行动的 AI
人工智能·python
weixin_505154461 小时前
数字孪生在建设智慧城市中可以起到哪些作用或帮助?
大数据·人工智能·智慧城市·数字孪生·数据可视化
Best_Me071 小时前
深度学习模块缝合
人工智能·深度学习
YuTaoShao1 小时前
【论文阅读】YOLOv8在单目下视多车目标检测中的应用
人工智能·yolo·目标检测
算家计算2 小时前
字节开源代码模型——Seed-Coder 本地部署教程,模型自驱动数据筛选,让每行代码都精准落位!
人工智能·开源
伪_装2 小时前
大语言模型(LLM)面试问题集
人工智能·语言模型·自然语言处理
gs801402 小时前
Tavily 技术详解:为大模型提供实时搜索增强的利器
人工智能·rag
music&movie2 小时前
算法工程师认知水平要求总结
人工智能·算法
量子位3 小时前
苹果炮轰推理模型全是假思考!4 个游戏戳破神话,o3/DeepSeek 高难度全崩溃
人工智能·deepseek
黑鹿0223 小时前
机器学习基础(四) 决策树
人工智能·决策树·机器学习