杨立昆团队最新研究：让世界模型学会“自适应”，在行动中持续进化

潜在世界模型（Latent World Models）赋予机器人在执行动作前推演未来的自适应能力，从而优化决策规划。杨立2022年，昆团图灵奖得主杨立昆（Yann LeCun）团队提出了联合嵌入预测架构（JEPA），队最通过在潜空间内预测未来状态的新研学会行动续进演化，确立了表征空间预测作为世界模型研究的究让核心范式。

然而，世界传统世界模型存在显著局限：训练完成后参数即固化，模型难以实时适应真实场景中动态变化的中持视觉条件与物理属性。一旦编码器或预测器出现偏差，自适应误差将在后续规划中累积放大，杨立最终导致任务失败。昆团

相比之下，队最人类具备强大的新研学会行动续进感觉运动自适应机制，能够依据感官反馈校准动作预测，究让并根据新经验不断修正对环境的认知。受此启发，杨立昆团队提出了AdaJEPA——一种具备自适应能力的潜在世界模型。该模型将自适应机制嵌入模型预测控制（MPC）的闭环中：每执行一步动作，即利用实际观测到的状态转移校正模型，并基于更新后的模型重新进行规划。

论文链接：https://arxiv.org/abs/2606.32026

实验表明，AdaJEPA 在分布内任务及多种分布偏移场景下，均能显著提升规划成功率。即便每次重新规划前仅执行一次轻量级更新，其表现也普遍优于那些训练后参数不再更新的传统世界模型。

这项工作为自适应世界模型开辟了新方向：世界模型应在行动过程中，依据真实反馈持续校准预测并更新表征，以更好地适应动态变化的环境。

AdaJEPA：具备“自适应”能力的世界模型

AdaJEPA 是一种能够在机器人执行任务过程中持续修正预测的自适应潜在世界模型。每完成一步动作，模型便利用新的真实观测校正偏差，并据此重新规划。该过程无需依赖额外离线数据、奖励标签或专家示范。

整个流程可概括为规划、执行、校正、重新规划四个步骤：

图｜AdaJEPA 在闭环 MPC 中执行测试时的自适应流程

1. 规划：模型在内部推演未来几步的状态变化，对比多组候选方案，筛选出最接近目标的动作序列。
2. 执行：模型仅执行第一个动作或一小段动作序列，随后观测环境的真实反馈。执行前的状态变化被记录，作为后续自适应的学习样本。
3. 自适应：动作执行后，AdaJEPA 将产生的状态转移写入在线缓冲区，并检验模型预测的准确性。若预测状态与真实结果存在偏差，模型将误差作为更新信号，进行一次轻量校正，为下一轮规划做准备。
4. 重新规划：完成自适应后，模型从最新观测出发，利用更新后的世界模型预测后续轨迹，生成新的动作序列。在整个任务中，“执行-自适应-重新规划”的循环不断重复，确保每一轮规划都基于最新的观测和模型状态。

为避免影响实时规划效率，AdaJEPA 采用轻量级更新策略：仅调整少量参数、维护小型在线缓冲区，并沿用预训练阶段的目标函数。具体机制如下：

• 只更新关键层：不更新整个世界模型，仅调整编码器和预测器中的少量关键层。此举既降低了计算开销，也减少了对已有表征的扰动。
• 维护小型在线缓冲区：缓冲区默认保存最近 5 条真实状态转移。团队对比了两种保留策略：recent-N（保留最近转移）和 hard-N（保留预测误差最大的转移）。结果显示两者差异不大，但 recent-N更为稳定。
• 沿用预训练目标函数：自适应阶段保持与预训练相同的预测目标，以真实观测对应的表征作为监督信号。为防止扰动已有表征，目标表征仅作为参照，不参与梯度回传。

效果评估

总体而言，AdaJEPA 在分布内任务及多种分布偏移场景下均能稳定提升规划成功率。研究团队在推物体任务（PushT / PushObj）和迷宫导航任务（PointMaze）上进行了评估，涵盖形状、视觉、动力学和布局等变化场景。即使每次重新规划前仅做一次轻量更新，AdaJEPA 仍普遍优于训练后参数固定的世界模型。

1. 分布内任务

结果表明，AdaJEPA 在测试时自适应不仅未牺牲原有能力，反而进一步提升了任务成功率。无论是使用梯度下降（GD）直接优化动作序列，还是使用交叉熵方法（CEM）通过采样筛选候选动作，AdaJEPA 的成功率均高于基线。

• 推物体任务：提升最为显著，最高成功率提升超过 20%。
• 迷宫导航任务：原模型表现已较强，AdaJEPA 保持了相近水平，无明显退化。

图｜PointMaze 在动力学变化和布局变化条件下的规划成功率

2. 分布外任务

在环境变化更剧烈的场景中，AdaJEPA 的优势更加突出。通过每轮规划和执行后利用真实反馈更新世界模型，后续规划能更贴合当前环境，从而提升成功率。相比之下，训练后不再更新的模型无法利用新观测，成功率往往迅速触顶。

• 多形状推物体任务：若测试中出现训练阶段未见过的物体形状，AdaJEPA 提升最明显，成功率接近翻倍。
• 视觉扰动：模糊、噪声和暗光照带来的增益尤为显著；若仅为锚点或物体颜色改变，优势相对有限。
• PointMaze 迷宫导航：AdaJEPA 能适应动力学变化和新迷宫布局，并在新布局下规划出更接近最短路径的轨迹。

图｜在形状变化和视觉变化条件下的规划成功率

图｜多样化迷宫中的规划轨迹

图｜PointMaze-Medium 在动力学变化条件下的规划轨迹

3. AdaJEPA 在多种 JEPA 实现上均有提升

为验证 AdaJEPA 的通用性，研究团队在 PushT 推物体任务上，分别更换表征形式、模型架构、训练目标和规划器进行测试。结果显示，在这些不同设置下，AdaJEPA 均能提高规划成功率。即使基线模型已充分训练且评估仍在分布内，测试时自适应仍带来稳定增益，每次重新规划仅增加约 0.01–0.03 秒延迟。

图｜不同实现下的 AdaJEPA 表现

4. AdaJEPA 并非从头学习新世界，而是校正已有预测

可视化结果显示，AdaJEPA 的自适应过程更像是在校准而非重新学习。研究团队解码自适应后的预测轨迹发现，即使面对视觉扰动或未见形状，解码结果仍倾向于保留训练分布中的结构特征。例如，红色方块会被解码为训练中常见的灰色方块，未见形状也会被映射为相近的已见形状。

图｜视觉变化和形状变化条件下的 AdaJEPA 规划轨迹示例

5. 消融实验与分析

消融实验证实，AdaJEPA 无需大范围更新，也不依赖复杂调参；少量关键层更新、一步梯度更新和近期状态转移缓冲区已能带来稳定收益。

• 更新策略：仅更新编码器或预测器的部分层，或采用 LoRA 进行轻量更新时，整体表现均优于基线，证明无需重训整个模型。
• 分布偏移的影响：不同分布偏移对更新位置的需求不同。
• 形状变化：主要调整预测器即可，各方案差异不大。
• 视觉和布局变化：仅更新预测器效果有限，需编码器参与。
• 布局变化：更新预测器第一层效果最佳，因其最早融合潜在状态和动作信息，更易校正新的局部转移关系。
• 超参数稳定性：默认设置（沿用训练阶段学习率、每轮重规划前一步梯度更新、保留近期状态转移）已在效果、稳定性和延迟间取得良好平衡。更大学习率或更多更新步数虽可能增强适应效果，但会增加不稳定性及计算开销。

图｜适应超参数和回放缓冲区对规划成功率的影响

6. 训练数据规模和形状多样性对 AdaJEPA 的影响

实验表明，AdaJEPA 的效果不仅取决于训练数据量，更取决于数据的多样性。

• 形状多样性优于数据堆叠：在 PushObj 多形状推物体任务中，覆盖更多物体形状比单纯增加同一形状的轨迹更利于泛化。例如，总轨迹数同为 16k 时，覆盖四种形状的 AdaJEPA 在未见形状上的成功率为 51.9%，高于仅覆盖单一形状的 45.8%。
• 低数据场景下的优势：AdaJEPA 在不同数据规模下均能提升成功率，且在低数据场景下收益尤为明显。即使训练阶段仅覆盖较少形状和轨迹，模型也能在部署中利用新观测校正预测。例如，仅用 1 种形状、1k 条轨迹训练的 AdaJEPA，在已见形状上的成功率（60.8%）高于使用 4 种形状、总计 64k 条轨迹训练但测试时不更新的模型。

图｜训练数据规模对 PushObj 规划成功率的影响：形状多样性 (K) 与每种形状的轨迹数量

不足与未来方向

尽管 AdaJEPA 在多类规划任务中带来了稳定增益，但仍存在局限：

由于 AdaJEPA 仅在规划期间进行轻量级修正，其有效性受限于预训练表征的覆盖范围。当测试环境中出现训练阶段未涵盖的关键特征时，自适应虽能改善规划结果，但难以完全弥合表征差距。未来，轻量级测试时自适应需与持续学习、主动学习相结合，使世界模型能在长期部署中不断积累新经验，逐步扩展对环境变化的覆盖范围。

更多技术细节，详见原论文。

作者：夏千斯

如需转载或投稿，请直接在本文章评论区内留言