引言：智能交通系统中的轨迹预测挑战
在自动驾驶与车联网（V2X）构成的复杂交通生态中，准确预测周边车辆、行人等交通参与者的未来轨迹，是确保行车安全、实现高效协同决策的基石。轨迹预测不仅需要理解单个目标的运动规律，更需要建模目标之间 以及目标与环境之间的复杂交互。这是一个典型的时空序列预测问题，充满了不确定性和动态性。
传统方法多基于物理运动模型（如恒定速度、恒定加速度模型）或简单的规则，难以应对城市道路中复杂的交互场景。近年来，深度学习技术，特别是循环神经网络（RNN）和图神经网络（GNN），为这一领域带来了革命性突破。本文将深入剖析该领域两个里程碑式的工作：Social-LSTM 和 VectorNet。前者首次将"社会性"交互建模引入深度学习框架，后者则通过创新的向量化表征统一了交互与环境理解，代表了轨迹预测从序列建模到结构化感知的演进路径。
第一部分：Social-LSTM------社会力模型的深度学习诠释
1.1 核心思想：从物理轨迹到社会池
在Social-LSTM之前，多数研究将每个行人的轨迹视为独立的时间序列进行预测。然而，这与现实严重不符------行人在行走时会自觉地避免碰撞、形成人流、跟随他人，这种隐性的协作被称为"社会力"。
Social-LSTM（2016）的核心创新在于提出了 "社会池"（Social Pooling） 机制。其基本思想是：
- 每个目标一个LSTM ：为场景中的每一个行人分配一个独立的LSTM网络，用于编码其自身的历史轨迹
(x_t, y_t)。 - 相邻LSTM在潜空间交互 ：在每一个时间步，不仅将自身坐标输入自己的LSTM，还通过一个共享的"社会池"网格，汇聚邻近行人LSTM的隐藏状态。
- 实现交互感知：这样，每个行人的LSTM在更新状态时，都能"感知"到周围邻居的意图和状态，从而预测出符合社会规则的轨迹。
简而言之，Social-LSTM用神经网络学习和模拟了行人间的社会行为规则。
1.2 模型架构与数学表达
模型主要由三部分组成：
-
轨迹编码 ：对于行人
i，其t时刻的位置由嵌入层转换为特征向量，输入到专属的LSTM中。
h_t^i = LSTM_i(h_{t-1}^i, e_t^i), e_t^i = φ(x_t^i, y_t^i; W_e) -
社会池化（关键环节）：
- 以当前行人
i为中心，定义一个N × N的二维空间网格。 - 将所有落入网格内其他行人
j的LSTM隐藏状态h_t^j，根据其网格位置进行对齐和汇聚。 - 早期的汇聚方式是直接拼接（
S_t^i = concat( {h_t^j} )），后续改进为通过一个共享的全连接网络进行聚合，形成 社会张量S_t^i。
- 以当前行人
-
轨迹解码：
- 将自身LSTM状态
h_t^i与社会张量S_t^i融合，共同预测下一时刻位置的二元高斯分布参数（均值、方差、相关系数）。
[μ_t^i, σ_t^i, ρ_t^i] = W_p * concat(h_t^i, S_t^i) - 训练时通过负对数似然损失进行优化，预测时可以进行多模态采样（从分布中采样多个可能轨迹）。
- 将自身LSTM状态
1.3 贡献与局限性
贡献：
- 开创性：首次将深度学习和显式的社会交互建模结合，为后续研究奠定了基础。
- 可解释性：社会池网格提供了一种相对直观的交互建模方式。
局限性：
- 计算效率低：场景中每增加一个目标，就需增加一个LSTM，计算量随人数线性增长。
- 交互范围固定 ：社会池网格的大小
N是超参数，限制了长程交互的建模。 - 忽略环境信息：完全专注于行人间的交互，未考虑场景结构（如车道线、建筑物）的约束。
第二部分：VectorNet------层次化图神经网络的向量化革命
如果说Social-LSTM解决了"如何建模交互"的问题，那么VectorNet（2020）则进一步回答了"如何统一表征交互与环境"这一更本质的问题。它抛弃了传统的像素或栅格地图表示，采用了全新的向量化表示法。
2.1 核心思想：万物皆可向量
VectorNet认为，无论是车辆的轨迹、车道线的边界，还是交通岛的轮廓，都可以用一系列有向线段（向量） 来简洁精确地表示。
- 轨迹向量 ：将车辆的历史轨迹点序列
(p_1, p_2, ..., p_T)，转化为T-1个向量v_i = p_{i+1} - p_i，每个向量附带起始点坐标和属性（如时间戳）。 - 地图要素向量：将车道线、路缘石等地图要素，用折线（Polyline）近似，再分解为一系列首尾相连的向量。
这种表示法的优势极其明显：极度紧凑、几何信息精确、与传感器（如激光雷达点云）的原始数据形式高度契合。
2.2 模型架构：两级图神经网络
VectorNet采用了一个层次化的图神经网络结构，完美匹配了交通场景的层次化特性。
第一阶段：折线级子图（Polyline Subgraphs）
- 将属于同一个语义单元（如一辆车的所有轨迹向量、一条车道线的所有几何向量）的向量集合定义为一条"折线"。
- 在每条折线内部，以每个向量为节点，构建一个全连接图 。通过多层感知机（MLP）和节点间的信息传递（类似GNN），最终聚合出代表整条折线的一个特征向量。这一步可以理解为对每条车道或每个目标进行"特征抽象"。
第二阶段：全局交互图（Global Interaction Graph）
- 将第一阶段得到的所有折线特征向量作为节点，构建一个全连接全局图。
- 在这个全局图上运行图神经网络，让代表不同目标、不同车道线的节点自由交换信息。例如，车辆节点可以"询问"周围车道线节点的特征，以理解自己可行的行驶空间；同时，它也能"感知"到其他车辆节点的意图。
- 最终，通过全局交互后的目标节点特征，被送入轨迹解码器（通常是MLP），预测其未来的多模态轨迹。
2.3 核心优势与深远影响
VectorNet的革命性在于：
- 统一表征：首次用同一种数据结构（向量）同时表示动态目标和静态环境，打破了感知、预测、规划模块间的表征壁垒。
- 层次化建模：先局部后全局的图结构，符合"目标自身运动规律 → 目标与环境/目标间交互"的认知逻辑，模型容量大且高效。
- 端到端与可扩展性：模型可以端到端训练，并且易于融入更多信息（如交通灯状态）。其图结构对目标数量变化不敏感，扩展性优于Social-LSTM。
VectorNet直接推动了行业从基于图像/栅格的方法向向量化方法的范式转移。如今，许多先进的感知（如VectorMapNet）和端到端驾驶模型都采用了这一思想。
第三部分：技术对比与演进脉络
为了更清晰地展示从Social-LSTM到VectorNet的思想演进，我们可以从多个维度进行对比：
| 对比维度 | Social-LSTM | VectorNet | 演进意义 |
|---|---|---|---|
| 核心思想 | 通过"社会池"机制，在隐藏状态空间让相邻行人LSTM交互。 | 将场景统一抽象为向量集合，通过层次化图神经网络建模所有元素间的关系。 | 从特定交互建模 走向通用结构化表征。 |
| 场景表示 | 忽略场景结构，仅处理二维坐标序列。 | 显式引入高精地图的向量化表示（车道线、路缘等）。 | 预测从纯社会动力学 问题变为社会-地理联合约束问题，更贴近现实。 |
| 交互建模 | 范围受限（网格内），方式固定（池化操作）。 | 全局、灵活、可学习的交互（全连接图上的信息传递）。 | 交互建模能力更强，能捕捉长程依赖和复杂关系。 |
| 计算效率 | 随目标数线性增长，并行化困难。 | 通过图神经网络高效处理变长输入，易于并行计算。 | 为大规模、多目标的城市道路场景预测提供了工程可行性。 |
| 输出形式 | 单目标、单模态（参数化分布）或多模态采样。 | 单目标、多模态轨迹（常用多个MLP头或基于锚点）。 | 为后续更复杂的多模态概率预测打下基础。 |
从Social-LSTM到VectorNet的演进，清晰地反映了轨迹预测技术发展的三大趋势：
- 从独立到统一：从单独处理目标轨迹，到用统一框架联合处理目标与环境。
- 从序列到图结构：从基于RNN的序列模型，转向基于GNN的图结构模型，以更好地建模任意关系的交互。
- 从隐式编码到显式结构化：从让网络隐式学习交互规则，到为网络提供显式的、结构化的场景先验知识。
第四部分：仿真验证与前沿展望
4.1 仿真：算法研发与验证的加速器
高质量的仿真是轨迹预测模型得以快速迭代和验证的关键。如行业综述指出，开源的CARLA、AirSim等仿真平台提供了高保真的3D环境与多传感器支持，是学术研究的理想工具。而工业界则追求更高的保真度与确定性，例如LeddarSim这类平台致力于提供多模态传感器精确仿真，以"缩小仿真差距"。
更前沿的解决方案，如康谋提出的"双模态仿真"，结合了物理驱动 的确定性仿真（用于闭环验证）和数据驱动的神经渲染重建（用于提升真实感），代表了通过仿真构建高保真数字孪生环境的最新方向。这些仿真工具为Social-LSTM、VectorNet等算法生成海量、多样且带有精确真值（Ground Truth）的训练测试数据，并允许安全地测试极端场景（Corner Cases）。
4.2 未来展望：从预测到生成与决策
轨迹预测技术仍在飞速发展，VectorNet之后的研究主要围绕以下几个方向深化：
- 端到端驾驶模型中的世界模型 ：轨迹预测正被整合进更宏大的"世界模型"中。例如，BEVWorld等方法将多模态传感器输入编码到统一的鸟瞰图（BEV）潜在空间，不仅能预测轨迹，更能生成未来场景的连贯感知表征（如未来的BEV图像或点云），为下游的规划和决策提供更丰富的上下文。
- 更强大的多模态概率预测：真实世界的未来充满不确定性。当前研究致力于生成不仅多样，而且概率准确、覆盖真实可能性的未来轨迹集，例如基于条件变分自编码器（CVAE）、生成对抗网络（GAN）或扩散模型（Diffusion Model）的方法。
- 实时性与轻量化：为了满足车规级部署的实时性要求，模型压缩、知识蒸馏和高效的神经网络架构设计是重要的工程研究方向。
- V2X赋能：在车联网环境中，通过V2V/V2I通信获取超视距或遮挡区域的信息，将极大提升预测的准确性和鲁棒性，这是单车感知无法比拟的优势。