从设计思想看，自动驾驶系统分为模块化和黑箱化两个大类。前者将系统分解为一系列功能独立的模块，每一个模块单独设计，组合到一起实现自动驾驶功能（我们熟知的定位 感知 规划 控制 决策等模块）；后者又称为端到端自动驾驶系统，它将系统视作一个黑箱 ，将所有模块神经网络化，训练一个或者多个神经网络，得到从感知结果到控制命令的直接映射 。端到端自动驾驶的核心特征是全部模块都神经网络化，而非仅使用一个神经网络实现驾驶功能。
目前落地率更高的前者这种分模块工作的自动驾驶体系，但是端到端有很大的诱惑力和潜力（特斯拉）。