脉冲神经网络(SNN)论文阅读(六)-----ECCV-2024 脉冲驱动的SNN目标检测框架:SpikeYOLO

原文链接:CSDN-脉冲神经网络(SNN)论文阅读(六)-----ECCV-2024 脉冲驱动的SNN目标检测框架:SpikeYOLO

Integer-Valued Training and Spike-Driven Inference Spiking Neural Network for High-performance and Energy-efficient Object Detection

  • 目录
    • 论文信息
    • 主要贡献
    • SpikeYOLO
    • [Integer Leaky Integrate-and-Fire (I-LIF) Spiking Neuron](#Integer Leaky Integrate-and-Fire (I-LIF) Spiking Neuron)
    • 实验对比
      • [静态COCO 2017 Dataset 对比:](#静态COCO 2017 Dataset 对比:)
      • [神经形态Gen1 Automotive Detection Dataset对比:](#神经形态Gen1 Automotive Detection Dataset对比:)

目录

论文信息

论文标题:Integer-Valued Training and Spike-Driven Inference Spiking Neural Network for High-performance and Energy-efficient Object Detection
论文地址
code

由中科院自动化所(李国齐团队)研究人员发表于ECCV 2024 Oral。

主要贡献

  • 设计了SpikeYOLO architecture用于目标检测。
  • 设计了新的脉冲神经元:I-LIF,训练时保持整数值通信推理时重参数化为低功耗的二元脉冲。
  • 在静态以及神经形态目标检测数据集上均取得了SOTA性能。

SpikeYOLO

  • 宏观设计参考YOLOv8,微观设计参考作者团队之前提出的Meta-SpikeFormer[1]中的meta SNN block。
  • 设计了SNN-Block-1和SNN-Block-2,其他架构和YOLOv8保持一致。
  • SNN-Block-1:
  • SNN-Block-2:

Integer Leaky Integrate-and-Fire (I-LIF) Spiking Neuron

  • 脉冲神经元累积膜电势,当膜电势达到阈值时产生脉冲,从连续的膜电势到离散的脉冲信号会带来信息损失。
  • I-LIF神经元基于LIF神经元模型,在训练时产生模拟值输出,而在推理时转换为二元的脉冲,从而缓解信息损失提升性能。
  • 训练期间将膜电势round到最近的整数值,控制其输出范围位于[0,D]之间,D是超参数标识I-LIF可产生的最大值输出。使用矩形函数代理梯度计算梯度信息。
  • 推理期间将原始的时间步长 T T T扩展至 T × D T \times D T×D,将本应位于[0,D]的输出在扩展后的时间步长内转换为每个时间步长内的二元脉冲输出。

实验对比

静态COCO 2017 Dataset 对比:

神经形态Gen1 Automotive Detection Dataset对比:

更多详细信息请看原文。

参考文献:

1\] Spike-driven transformer v2: Meta spiking neural network architecture inspiring the design of next-generation neuromorphic chips. In ICLR. 2024. 本文由[CSDN-lan人啊](https://blog.csdn.net/qq_43622216)原创,转载请注明!

相关推荐
娃娃略几秒前
【AI模型学习】双流网络——更强大的网络设计
网络·人工智能·pytorch·python·神经网络·学习
知来者逆5 小时前
计算机视觉——对比YOLOv12、YOLOv11、和基于Darknet的YOLOv7的微调对比
深度学习·yolo·目标检测·计算机视觉·yolov7·yolov11·yolov12
COOCC17 小时前
探秘卷积神经网络:深度学习的图像识别利器
人工智能·深度学习·神经网络·目标检测·机器学习·cnn
欲掩7 小时前
神经网络与深度学习第四章-前馈神经网络
人工智能·深度学习·神经网络
CV-杨帆7 小时前
论文阅读:2025 arxiv Aligning to What? Limits to RLHF Based Alignment
论文阅读
沅_Yuan21 小时前
基于贝叶斯优化的Transformer多输入单输出回归预测模型Bayes-Transformer【MATLAB】
神经网络·matlab·回归·贝叶斯·transformer·回归预测
nenchoumi31191 天前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
小宋加油啊1 天前
深度学习小记(包括pytorch 还有一些神经网络架构)
pytorch·深度学习·神经网络
沛沛老爹1 天前
从线性到非线性:简单聊聊神经网络的常见三大激活函数
人工智能·深度学习·神经网络·激活函数·relu·sigmoid·tanh
何大春1 天前
【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
论文阅读·深度学习·神经网络·计算机视觉·视觉检测·论文笔记