GroupNet:基于多尺度神经网络的交互推理轨迹预测

2022 CVPR

论文:GroupNet: Multiscale Hypergraph Neural Networks for Trajectory Prediction with Relational Reasoning

1、介绍

过去的工作只考虑了有限关系推理的成对交互,因此提出了GroupNet,可以通过可训练的多尺度超图,用于对具有多个不同大小的群体交互进行建模,以数据驱动的方式学习这种多尺度超图拓扑,来提取更全面更群体化的交互;在学习时,为了学习交互embedding,提出三要素格式:神经交互强度、神经交互类别和每个类别函数

至少三个因素会影响智能体动态:

自我动量:已得到充分研究

瞬时意图:不可研究(MTR系列已经实现瞬时意图的学习)

社会交互:当前工作重点

2、GroupNet

GroupNet的核心是学习一个多尺度超图,其节点是智能体,超边是交互

详情可见DynGroupNet,当然在DynGroupNet中有所创新,具体是在平滑相关矩阵的变化处,但基本核心思想不变

神经网络信息传递也相同,最后得到智能体的embedding

3、GroupNet预测系统

3.1、编码阶段

首先将过去轨迹X-和未来轨迹X+分别输入给GroupNet,得到智能体未来和过去的embedding------V+和V-

将两个embedding连接后,分别通过两个MLP,得到未来轨迹分布的期望和方差,从该分布中采样得到潜变量z,和V-连接后输出为V_out

而在测试阶段,则从先验分布N~(0, λI)中采样,其中λ为一个超参数

3.2、解码阶段

残差解码器包含两个相同的解码快,输入V_out和X-(重建过去轨迹,避免信息丢失)

每个块由一个用于编码序列的 GRU 编码器和两个作为输出的 MLP 组成

最后再求和得到未来预测轨迹和重建过去轨迹

3.3、损失函数

损失由L2范数损失,KL散度损失,和多样性损失构成

相关推荐
后端小张1 天前
智眼法盾:基于Rokid AR眼镜的合同条款智能审查系统开发全解析
人工智能·目标检测·计算机视觉·ai·语言模型·ar·硬件架构
浩浩的代码花园1 天前
自研端侧推理模型实测效果展示
android·深度学习·计算机视觉·端智能
晨非辰1 天前
C++ 波澜壮阔 40 年:从基础I/O到函数重载与引用的完整构建
运维·c++·人工智能·后端·python·深度学习·c++40周年
这张生成的图像能检测吗1 天前
(论文速读)EfficientTrain++: 高效视觉骨干训练的通用课程学习
人工智能·深度学习·计算机视觉·训练方法
翔云 OCR API1 天前
人脸识别API开发者对接代码示例
开发语言·人工智能·python·计算机视觉·ocr
AndrewHZ2 天前
【图像处理基石】如何在图像中提取出基本形状,比如圆形,椭圆,方形等等?
图像处理·python·算法·计算机视觉·cv·形状提取
编程小白_正在努力中2 天前
神经网络深度解析:从神经元到深度学习的进化之路
人工智能·深度学习·神经网络·机器学习
无风听海2 天前
神经网络之经验风险最小化
人工智能·深度学习·神经网络
音视频牛哥2 天前
轻量级RTSP服务的工程化设计与应用:从移动端到边缘设备的实时媒体架构
人工智能·计算机视觉·音视频·音视频开发·rtsp播放器·安卓rtsp服务器·安卓实现ipc功能
H***99762 天前
月之暗面公开强化学习训练加速方法:训练速度暴涨97%,长尾延迟狂降93%
人工智能·深度学习·机器学习