V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning

第一阶段：V-JEPA 2 自监督预训练

1. 视频采样与编码：从数据集中采样短视频片段，将视频切分为时空 patch（例如 2 帧 × 16×16 像素的 patch），分别输入上下文编码器和目标编码器。

2. 遮蔽策略：使用 tube masking（管道遮蔽），即同一空间位置在所有时间步都被遮蔽。这种策略强迫模型学习时序变化，而非仅靠单帧信息进行推断。遮蔽比例通常较高（约 75-90%）。

3. 潜在预测：上下文编码器只处理可见的 patch，然后一个预测器网络根据可见 patch 的表示来预测被遮蔽位置的潜在表示。预测目标不是原始像素，而是目标编码器（EMA 更新）输出的表示。

4. 损失函数：使用平滑 L1 损失（Smooth L1 Loss）衡量预测的潜在表示与目标编码器输出之间的差异。仅对被遮蔽位置计算损失。

5. 模型规模：提供从 600M 到 6B 参数的多种规模，最大的 V-JEPA 2 模型在理解任务上表现最优。

第二阶段：LLM 对齐

1. 将 V-JEPA 2 的视觉编码器作为视觉骨干，通过投影层连接到大型语言模型。

2. 使用视频指令微调数据进行训练，使模型学会将视觉特征与自然语言描述对齐。

3. 在多个视频问答基准上进行评估。

第三阶段：V-JEPA 2-AC 动作条件世界模型

1. 潜在动作学习：从预训练的 V-JEPA 2 开始，添加一个动作编码器，使用 VQ-VAE 将视频中的变化量化为离散的潜在动作。

2. 动作条件预测：在预测器中加入潜在动作作为条件输入，使模型学会"执行这个动作后，世界会变成什么样"。

3. 后训练数据：使用 Droid 数据集中约 62 小时的无标签机器人操作视频。

4. 机器人规划：给定目标图像，使用模型预测控制（MPC）在潜空间中搜索最优的潜在动作序列。

JEPA 核心损失函数：

L = Σ_{m∈M} SmoothL1(s_x(p_m), s_y(m))

其中 M 是被遮蔽的 patch 集合，s_x 是上下文编码器 + 预测器对位置 m 的预测，s_y 是目标编码器对位置 m 的输出。仅在被遮蔽位置计算损失。

EMA 更新：

θ_target ← τ · θ_target + (1 - τ) · θ_context

τ 是动量系数（通常接近 1），确保目标编码器平滑更新。

潜在动作量化（VQ-VAE）：

z = Encoder(f_t, f_{t+k}) → a = argmin_i ||z - c_i||

从两帧提取变化向量，然后量化到最近的码本向量，将连续动作空间映射到有限集合。

规划目标（MPC）：

在潜空间中搜索使预测轨迹最接近目标表示的动作序列：minimize Σ ||s_pred(t+i) - s_goal||

Something-Something v2：专门测试运动理解的基准。与静态图像分类不同，它要求模型理解动作本身（如"把东西放在上面"vs"把东西移开"），而非仅靠物体外观判断。这直接验证 V-JEPA 2 是否真正学到了时序动态。

Epic-Kitchens-100：第一人称视角的动作预测基准，要求模型在动作完成前预测即将发生什么，考验模型对视频未来发展的推理能力。

PerceptionTest / TempCompass：视频问答基准，测试模型对时空关系、物理状态变化的理解，验证多模态推理能力。

Droid 机器人数据集：包含多个实验室、不同机器人的操作视频，数据多样性好且完全不需要标签。

关键实验结果：

• SSv2 上 77.3% top-1，说明自监督方法可学到强大运动表示
• EK-100 上 39.7 recall@5 超越专门模型，证明学到的表示包含丰富时序信息
• 视频问答 84.0（PerceptionTest）、76.9（TempCompass），8B 规模 SOTA
• 零样本机器人操作成功，验证互联网视频知识可迁移到物理世界

Figure 1：V-JEPA 2 整体架构和三阶段流程——从视频预训练到语言对齐再到机器人规划。

Figure 2：V-JEPA 2 预训练的遮蔽预测示意图，展示 tube masking 策略和潜在空间预测。

Figure 3：V-JEPA 2-AC 训练流程，展示如何从无标签机器人视频中学习潜在动作。

Figure 4：零样本机器人部署实验，在两个不同实验室的 Franka 机械臂上的成功操作。

Table 1-3：在视频理解、动作预测和视频问答任务上与基线方法的全面对比。

Figure 5-6：消融实验，分析模型规模、遮蔽策略、训练数据量对性能的影响。

• 视频处理长度有限，当前模型只能处理短片段（约几秒到十几秒），无法理解长视频的完整叙事或复杂时序关系。
• 机器人实验仅限于相对简单的 pick-and-place 任务，尚未验证在更复杂、长周期操作中的效果。
• 世界模型的物理模拟精度有限，对于精细操作可能不足。
• 潜在动作空间的表达能力受码本大小限制，可能无法覆盖所有可能的动作。
• 模型规模达到 6B 参数，进一步扩展可能面临计算瓶颈。
• 零样本机器人实验的环境条件仍然相对可控，在更开放环境中的鲁棒性有待验证。