点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近30个方向学习路线

作者 | Linhan Wang

编辑 | 自动驾驶之心

本文只做学术分享，如有侵权，联系删文

>>自动驾驶前沿信息获取→自动驾驶之心知识星球

小鹏汽车最新的工作Drive-JEPA，看名字就知道结合了世界模型V-JEPA，最终效果很不错。推荐大家仔细看一下~

端到端自动驾驶正日益借助自监督视频预训练来学习可迁移的规划表示。然而，迄今为止，为场景理解预训练视频世界模型仅带来了有限的性能提升。这一局限性因驾驶本身的固有模糊性而加剧：每个场景通常仅提供单一的人类轨迹，使得学习多模态行为变得困难。在本文中，我们提出Drive-JEPA，这是一个将视频联合嵌入预测架构（V-JEPA）与多模态轨迹蒸馏相结合的端到端驾驶框架。首先将V-JEPA适配于端到端驾驶任务，在大规模驾驶视频上预训练视觉Transformer（ViT）编码器，以生成与轨迹规划对齐的预测表示。其次入了一种proposal-centric规划器，该规划器在人类轨迹之外还蒸馏了仿真器生成的多样化轨迹，并采用动量感知选择机制以促进稳定且安全的驾驶行为。

在NAVSIM基准测试中，结合简单Transformer解码器的V-JEPA表示在perception-free比现有方法高出3个PDMS。完整的Drive-JEPA框架在v1上达到93.3 PDMS，在v2上达到87.8 EPDMS（扩展预测驾驶模型分数），创下了新的SOTA。

• 论文名称：Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

• 论文链接：https://arxiv.org/abs/2601.22032

• 开源链接：https://github.com/linhanwang/Drive-JEPA

一、背景回顾

端到端自动驾驶已成为一种极具前景的范式，其通过统一的神经模型直接将原始传感器观测映射到驾驶动作。与传统模块化流水线中使用手工设计的中间表示不同，端到端方法旨在通过直接从大量人类驾驶数据中学习，减少信息损失并提高可扩展性。

近年来，端到端自动驾驶愈发倾向于利用自监督视频预训练来学习可迁移的规划表示。然而迄今为止，为场景理解预训练视频世界模型仅带来了有限的性能提升。该方向上的现有方法大致可分为两类。第一类是视频生成类方法，例如VaVAM和Epona，它们通过重建或生成视频来学习表示，然后将其迁移到规划任务中，但这种像素级目标会带来巨大的计算开销，且可能过度强调与决策无关的视觉细节。第二类为降低成本，latent世界模型会预测紧凑的特征动态（例如，LAW通过特征T预测特征T+1，而World4Drive进一步引入预训练基础模型以丰富 latent target）。然而，这些隐方法通常仅用作辅助目标，且尚未展现出通过扩大预训练规模所带来的显著优势。

另一方面，端到端驾驶面临着监督瓶颈：尽管驾驶的未来轨迹本质上具有多模态特性，但每个场景通常仅能提供单一的人类轨迹。现有研究通过离散或连续的表述方式生成多模态轨迹来解决这一问题。离散方法（如VAD v2和Hydra-MDP）将轨迹聚类为固定词汇表，并预测反映安全性和舒适性的分数；然而，其表达能力从根本上受到锚点轨迹的覆盖范围和质量的限制，导致在未覆盖的场景中泛化性能较差。此外，基于扩散的方法（包括DiffusionDrive和GoalFlow）通过迭代采样对多模态轨迹分布进行建模，展现出了强大的生成能力。尽管如此，这些方法仍然受到每个场景单一人类轨迹监督的限制，本质上制约了所学习行为的多样性。

本文提出了Drive-JEPA，这是一种端到端自动驾驶框架，能够以统一的方式解决上述两个瓶颈。首先将V-JEPA适配到自动驾驶领域，从大规模原始视频中学习与规划对齐的预测表示，其迁移性能优于现有的世界模型预训练方法。其次，我们引入多模态轨迹蒸馏技术，将模拟器中的知识蒸馏到proposal-centric规划器中，提供超越单一人类轨迹的多样化监督，从而实现更安全的多模态决策。

Drive-JEPA的框架包含三个组件：驾驶视频预训练、多模态轨迹蒸馏和动量感知轨迹选择。在第一个模块中，我们构建了大规模驾驶视频数据集，并利用V-JEPA预训练基于ViT的视觉编码器，该编码器通过预测未来 latent并有效防止模式崩溃来学习预测表示。在第二个模块中，基于航点锚定的proposal生成利用可变形注意力聚合轨迹航点处的鸟瞰图（BEV）特征，并迭代优化proposal。为了提高多样性，我们同时利用人类轨迹和满足安全性与舒适性约束的模拟器生成多模态轨迹对proposal进行监督，从而实现从模拟器中有效蒸馏知识。最后，选择模块通过预测碰撞风险、交通规则合规性和舒适性为所有候选轨迹分配分数，并进一步引入动量感知惩罚项以减少帧间轨迹畸变。

我们在NAVSIM v1、NAVSIM v2和Bench2Drive上对Drive-JEPA进行了验证。Drive-JEPA在NAVSIM v1上达到93.3 PDMS，在NAVSIM v2上达到87.8 EPDMS，创下了新的SOTA。值得注意的是，仅使用单目前视摄像头和轻量级Transformer规划器，本文的V-JEPA预训练模型在perception-free设置下比现有工作高出3个PDMS，突显了V-JEPA预训练在规划任务中的有效性。在Bench2Drive上，多模态轨迹蒸馏持续提升驾驶质量，证明了多样化监督在生成安全、多模态轨迹方面的优势。

本文的贡献可总结如下：

1. 将V-JEPA预训练引入端到端自动驾驶，同时提升了有感知和无感知设置下的性能；

2. 提出了一种新颖的多模态轨迹监督方法，将模拟器知识蒸馏到proposal-centric框架中，生成多样化的多模态轨迹；

3. 设计了动量感知轨迹选择模块，提升了驾驶舒适性；

4. 在NAVSIM v1和NAVSIM v2上达到了新的SOTA。此外即使不依赖感知标注，Drive-JEPA在NAVSIM上仍取得了优异的性能。

二、算法详解

预备知识

端到端自动驾驶：在端到端自动驾驶任务中，目标是以航点形式估计自车的未来轨迹。形式上，设 表示时间步 捕获的 张环视多视角图像。模型需预测一系列航点 ，其中每个航点 代表自车在时间戳 的预测鸟瞰图（BEV）位置和航向角。此处 表示待预测的未来位置数量。此外，模型还需输入自车状态，包括驾驶指令（如左转、直行、右转）、速度和加速度。

V-JEPA：V-JEPA通过从掩码视图 （随机丢弃部分时空patch）估计目标视图 的潜在表示，来学习预测性视频表示。该方法采用元架构，包含提取视频特征的编码器 和预测掩码位置表示的预测器 。编码器和预测器通过以下公式联合优化：

其中 是指示丢弃补丁位置的可学习掩码令牌。目标分支使用停止梯度算子 和指数移动平均编码器 （参数为 ）来稳定训练并避免表示崩溃。损失仅在掩码位置计算。 和 均实例化为视觉Transformer（ViT）。

驾驶视频预训练：

为通过自监督视频预训练增强规划表示能力，现有研究探索了像素空间驾驶世界模型和潜在世界模型。前者面临计算开销大的问题，后者则难以扩展，因此我们提出在大规模驾驶视频预训练中采用V-JEPA。

驾驶视频数据集构建与扩展：本文使用V-JEPA 2发布的参数初始化ViT编码器。为缩小domain gap，Drive-JEPA从三个公开数据集构建大规模驾驶视频数据集：CoVLA、DrivingDojo和OpenScene。所有视频均由前视相机拍摄，处理为分辨率512×256、帧率2Hz的8帧片段。

我们在该构建数据集上以自监督方式采用V-JEPA目标训练ViT编码器。如表1所示，得益于潜在预测任务的高效性和有效的模式崩溃预防，我们成功将预训练规模扩展至208小时，且计算成本低于现有方法。

perception-free端到端自动驾驶：借鉴现有基于世界模型的端到端驾驶研究，我们采用perception-free评估设置，模型仅通过人类轨迹监督，不依赖感知标注。基于ViT编码器从前视图像提取的时空特征，使用带可学习查询的Transformer解码器预测未来航点。给定前视输入 和 ，通过预训练ViT编码器提取时空特征并记为 。引入 个可学习查询嵌入 ，每个对应一个未来航点。基于Transformer的解码器通过交叉注意力关注 ，生成：

随后映射为预测航点：

其中 ，每个 代表时间步 的BEV位置和航向。网络通过 与真实轨迹 之间的均方误差（MSE）损失进行端到端训练。尽管结构简单，该设置仍显著优于现有方法（表1），突显了基于V-JEPA的驾驶视频预训练的有效性。

Waypoint-anchored proposal生成

基于驾驶视频预训练得到的强表示，我们设计了遵循proposal选择范式的规划器。如前所述，固定词汇表可视为proposal，但存在离散误差。受iPad启发，进一步改为在线生成proposal。

给定时间步(t)的视觉特征 和自车状态，通过线性层将自车状态投影为自车特征 。proposal查询通过将 添加到可学习位置嵌入中初始化为 ，其中 是航点轨迹proposal数量， 是未来航点数量。我们对proposal查询 进行 次迭代优化。在第 次迭代中，MLP将 解码为航点轨迹proposal ，其中 ，每个航点包含 。以这些显式航点位置为锚点，通过提升-平铺BEV特征采样聚合每个预测航点周围的(F_{t})特征，并在proposal间交换信息以优化查询，随后通过轻量级MLP更新查询：

其中WADA表示航点锚定可变形注意力。

由于规划的最终轨迹从 中选择，其分布至关重要。给定人类轨迹 和中间proposal ，引导 的朴素方法是使用跨迭代折扣监督的最小N损失：

其中 对早期迭代进行权重衰减，以鼓励由粗到细的优化。

然而，在自动驾驶中，除单一人类轨迹外，一个场景通常存在多种有效选择。这种朴素引导方法限制了proposal的多模态性。我们将在下一节给出解决方案。

多模态轨迹蒸馏

为缓解每个场景单一人类轨迹带来的稀疏监督问题，我们从基于规则的模拟器中蒸馏知识。HydraMDP通过学习固定词汇表上的分数进行Hydra蒸馏，而我们让模拟器提供多模态轨迹目标以引导proposal分布。

即借鉴VADv2和HydraMDP构建轨迹词汇表，但用途不同。收集训练数据集中的所有轨迹（超过10万条），使用K均值聚类选择轨迹中心。选取8192个中心作为轨迹词汇表，平衡覆盖范围和计算成本。对于训练数据集中的每个场景，通过基于规则的模拟器从词汇表中选择高质量多模态轨迹。遵循NAVSIM v2，计算所有轨迹的EPDM分数（详细定义见附录A）。

具体来说，首先运行PID控制器将8个航点转换为更密集的41点轨迹，然后在每个时间步重放其他道路参与者、交通灯等，计算碰撞及其他指标。NAVSIM v2中的基于规则模拟器仅用于评估，我们进一步提升了向量化计算效率以满足大规模离线评分需求。在获得词汇表中所有轨迹在训练数据集所有场景下的分数后，通过排序和阈值筛选为每个场景选择一组多模态轨迹 。训练时，使用这些多模态轨迹作为伪教师引导proposal，而非单一人类轨迹。最终轨迹损失 定义为：

其中min算子在第 次迭代时对proposal索引 取最小值。

如图3所示，无多模态轨迹蒸馏（MTD）时，proposal存在明显的mode collapse；加入MTD后，proposal呈现多模态分布。

动量感知轨迹选择

为从proposal集中选择最优规划轨迹，我们训练神经评分器评估最终proposal 。具体而言，对proposal查询 在航点维度上进行最大池化，得到池化特征 ，随后输入多层感知机（MLP）生成proposal分数 。评分器通过二元交叉熵（BCE）损失训练：

其中 。监督信号 来自基于模拟器的EPDMS评估，同时用于定义候选伪目标 。

尽管多模态轨迹蒸馏提升了proposal多样性，但可能加剧时序的不一致性，导致相邻时间帧间变异过大，降低舒适性。为缓解这一问题，我们通过引入舒适项使分数具备动量感知能力。设 为前一时间帧选择的轨迹，通过比较 与当前所有proposal 计算基于畸变的舒适分数 ，并通过以下公式重新校准学习分数：

其中权重设置遵循NAVSIM v2。最终选择的轨迹形式化为：

其中 表示proposal 的重新校准分数。

损失函数

在端到端驾驶任务中，添加辅助任务以增强模型的环境理解能力至关重要，例如BEV地图分割、3D目标检测和跟踪。然而，这些传统密集型理解任务计算开销大，因此我们采用轻量级辅助任务，其包含丰富的时空信号且与proposal-centric设计兼容。

我们采用两个辅助任务：proposal-centric映射和碰撞预测。对于第一个任务，模型预测proposal航点 的在路概率和在路线概率，记为 ，proposal-centric映射损失为 。

对于proposal-centric碰撞预测，通过日志重放模拟估计 。该任务不仅要求模型检测周围目标，还需理解其运动模式。proposal-centric碰撞损失为 。

Drive-JEPA是端到端可微分的，训练损失定义为：

其中 、 、 。

三、实验结果分析

主要结果

NAVSIM v1上的结果：如表2所示，与现有方法相比，Drive-JEPA使用ResNet34主干网络时取得了最佳PDMS。使用ViT/L时，Drive-JEPA仅次于采用先进数据增强的DriveSuprim。值得注意的是，在保持高安全指标（如NC、DAC和TTC）的同时，Drive-JEPA实现了最佳自车进度（EP），呈现出果断的驾驶风格。

perception-free端到端自动驾驶：Drive-JEPA在perception-free设置下评估了方法，使用简单解码器和预训练ViT编码器。如表2所示，无论主干网络规模如何，我们的方法均大幅超越现有方法，PDMS甚至接近依赖感知标注的最先进方法，突显了V-JEPA预训练的优势。

NAVSIM v2上的结果：NAVSIM v2的指标比v1更复杂，但我们的方法仍优于所有现有方法。现有方法在扩展舒适性（EC）上表现不佳，而我们的方法在该指标上表现出色，同时在安全指标、交通规则合规性和自车进度上也取得了良好结果。

Bench2Drive上的结果：Bench2Drive在闭环仿真中评估自主智能体。Drive-JEPA取得了最佳驾驶分数（DS），且效率极具竞争力。与另一种proposal-centric方法iPad相比，Drive-JEPA的驾驶分数高出4分，验证了多模态轨迹蒸馏的有效性。

消融实验

所提模块的消融实验：我们首先对所提模块进行消融实验： ：V-JEPA 2预训练权重； ：驾驶视频预训练； ：多模态轨迹蒸馏； ：动量感知轨迹选择。如表5所示，将ResNet34替换为V-JEPA 2发布的ViT（ ）提升了EPDMS；驾驶视频预训练通过缩小领域差距进一步提升性能（ ）；加入 后，框架实现了更优的多样性（D和整体指标（图5的验证分数曲线也支持这一结论），但多样性增加导致EC下降；最终加入 不仅将EC大幅提升至84.8，还创下了EPDMS的新纪录。

伪教师轨迹数量的消融实验：如表6所示，我们尝试了 个伪教师轨迹。尽管 与EPDMS的相关性不强，但使用伪教师轨迹始终比不使用（ ）表现更优。

驾驶视频预训练的消融实验：使用相同的简单解码器，搭配主流预训练方法训练的编码器。如表7所示，V-JEPA 2在这些方法中表现最佳，MAE和DepthAnything无法收敛。这突显了V-JEPA目标在视频预训练中的优势。本文中，我们构建了大规模驾驶视频数据集，基于该数据集和V-JEPA目标训练的ViT/L编码器进一步提升了性能，比最先进的Epona高出3个PDMS。

四、结论

Drive-JEPA是一种新的端到端驾驶框架，它将V-JEPA视频预训练与多模态轨迹蒸馏相结合，以缓解模仿学习中的模式崩溃问题。在大规模驾驶视频上预训练视觉Transformer（ViT）编码器，能够得到强大的规划表示，使简单解码器在perception-free设置下也能实现具有竞争力的性能。通过蒸馏模拟器引导的伪教师轨迹，proposal的多样性得到提升，而动量感知选择机制进一步增强了时间稳定性和驾驶舒适性。Drive-JEPA在NAVSIM v1/v2基准测试中取得了最先进的结果，并在Bench2Drive上提升了闭环性能。

自动驾驶之心

求点赞

求分享

求喜欢