【端到端模型】基于稀疏查询的表征特征

网络名称 Q 数据结构 K, V 数据结构 QKV 交互机制与输出
StreamPETR (2023) 物体 Query [N_q, D] 1. 传播Query:第一帧初始化,后续帧继承。 2. 初始化Query:每帧初始化。 各类Query数量固定。 当前帧图像特征, [N_pixels, D] Q生成3D参考点(预测得到),投影到 2D 图像采样KV特征。
Sparse4D (2023) 3D 锚框 [N_anchor, D] (含位置、尺寸、朝向的嵌入) 多视角/多尺度/多帧特征图 [N_features, D] (不同层级特征展平拼接) Q 生成 4D 关键点。 每个 Anchor 生成 [N_anchor, N_keypoints, 4] (t,x,y,z) 关键点,投影到 K/V 上稀疏采样,聚合为 [N_anchor, D]。
SparseDrive (2024) 实例 Query [N_instance, D] (检测、跟踪、建图共用) 图像特征 [N_pixels, D] + 历史实例队列 [N_memory, D] Q 与图像 K/V 做 Cross Attention,同时与历史 Q 交互。 输出更新后的 [N_instance, D],直接接规划头。
SparseAD (2024) 统一稀疏 Query [N_query, D] (跨任务共享) 图像特征 [N_pixels, D] + 历史 Query [N_history, D] Q 跨空间、跨时间、跨任务统一交互。 同一组 Q 通过不同 Head 并行输出多任务结果 [N_query, D_head],无密集 BEV。
相关推荐
罗西的思考6 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
伞伞悦读8 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
会飞锦鲤9 小时前
基于 RT-DETR 的 PCB 缺陷检测
深度学习·目标检测·计算机视觉·pyqt5·rt-detr·工业质检·pcb缺陷检测
高洁011 天前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
意念回复2 天前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
哈尔滨张谦蛋2 天前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
chh5633 天前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
汤姆宝库3 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
tellmewhoisi3 天前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习