PillarNet: Real-Time and High-PerformancePillar-based 3D Object Detection

​ECCV 2022

paper:[2205.07403] PillarNet: Real-Time and High-Performance Pillar-based 3D Object Detection

code:https://github.com/VISION-SJTU/PillarNet-LTS

纯点云基于pillar3D检测模型

网络比较

SECOND

  • 基于voxel,one-stage,基于sparse 3D conv

  • 将点云划分为3D voxel,在BEV空间识别box

  • 模型结构包括

    • encoder:编码非空3D voxel特征,生成多size3D特征

    • neck:将bev空间下的多尺度3D特征flatten,转换成多尺度(和多size区别?)特征;top-down

    • detect head:用多尺度bev特征做box分类回归

PointPillars

  • 用一个小PointNet将点云投射到xy平面,生成一个稀疏2D底图

  • 2Dconv(top-down)网络,对底图生成多尺度特征

  • detect head

分析

  • 基于pillar的网络性能瓶颈(资源性能?效果性能?)主要在于sparse encoder、neck模块

  • PointPillar直接在稠密的2d底图上 用特征金字塔网络 fuse多尺度特征

    • 缺少pillar特征编码

    • 把输出特征的size和初始pillar范围耦合了,造成所用计算资源随着pillar scale上涨

改进

  1. 将SECOND中的3d sparse conv替换成2d

  2. 用neck模块融合稀疏的空间特征、抽象高维语义特征

  3. 总结

    1. 学pillar 特征:较重的 sparse encoder

    2. 空间特征融合:较轻的neck

结构

encoder

  1. 输入:稀疏2d pillar特征

  2. stage1-4:2d conv,逐渐降采样pillar特征

    1. 可使用2d检测backbone:vgg,resnet,并且可提升3d效果

    2. 逐渐降采样,缓解了pillar size绑定的影响

neck

  1. 16倍下采样稠密特征

  2. 3种设计

    1. v1:SECOND设计

    2. v2:基于1多一条skip connection

    3. v3:基于2多一层conv

loss

  1. cls:focal loss

  2. iou:

    1. S:分类score

    2. W:3d iou score

      1. L1 loss

      2. β:超参

      3. iou计算:2 ∗ (W − 0.5) ∈ [−1, 1].

    3. 解耦朝向:xxIoU loss → OD-xxIoU

  1. size(3d box),off(位置偏移量),z(z方向位置),ori(朝向):L1 loss

相关推荐
白-胖-子3 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手4 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道5 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.05 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12016 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师6 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen6 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域6 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木6 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
AntBlack6 小时前
从小不学好 ,影刀 + ddddocr 实现图片验证码认证自动化
后端·python·计算机视觉