世界模型究竟是什么？

注：本文系深度重译与重构，世界基于科技博客 Not Boring 作者 Packy McCormick 与 General Intuition CEO Pim De Witte 联合发表的模型长文《World Models: Computing the Uncomputable》。尽管原文发表于数月之前，究竟但随着行业局势演变，世界其核心逻辑愈发成为理解当前 AI 竞争格局的模型关键基石。

过去几个月，究竟“世界模型”（World Models）已成为 AI 行业最高频的世界关键词。从大模型巨头到自动驾驶、模型机器人及游戏公司，究竟无一不在其叙事中纳入这一概念。世界

资本对此反应热烈：AMI Labs、模型World Labs、究竟Wayve、世界Physical Intelligence 等公司在上半年合计融资超 40 亿美元。模型上周，究竟General Intuition 宣布完成 3.2 亿美元 A 轮融资，估值达 23 亿美元，距其种子轮仅三个月。每一笔资金都押注于同一判断：未来的具身智能（Embodied AI），必须从世界模型中生长出来。

图丨全球世界模型领域主要融资（来源：DeepTech 制图）

然而，热钱涌入的同时，路线之争也白热化：生成式 vs. 潜空间？VLA 工程迭代能否跑赢理论更优的架构？游戏数据还是机器人数据才是通往现实的最佳桥梁？推断动作与 Ground Truth 动作的差距能否弥合？

这些问题在三个月前是开放的，今天依然开放，但实验数据正在迅速缩小可能性空间。鉴于概念繁杂、噪声众多，且缺乏一篇能清晰梳理历史脉络、技术细节与商业格局的综述，我们决定重发并深度改写此文。

读者须知：Pim De Witte 及其团队对世界模型持有特定的技术判断与商业立场。请读者自行甄别客观描述与立场表达。

一、 想象力的计算困境

“我昨晚本想睡觉，结果大脑开始胡思乱想，幻想第二天可能会遇到的各种场景，以及我又会如何应对。”

(来源：Not Boring)

这是人类的常态。我们可以轻松想象复杂的体育场、浪漫关系或激烈争论，甚至模拟曼联比赛的现场氛围，其认知负荷并不比想象与老友聊天更高。

但若要用传统计算机模拟一场曼联比赛，意味着要建模成千上万人的行为。在传统引擎中，这可能需要数年时间。因为传统计算是确定性的：模拟 N 个球迷至少是 O(N) 或 O(N²) 的问题。每个人的动作、每面旗帜、每把椅子及其相互作用都必须显式计算。

世界是动态且随机的，但人类能高效处理这种复杂性。

在机器人领域，机器必须在相同时间内对现实做出反应。传统计算无法处理这种复杂度，这是具身 AI 进步的主要瓶颈。

世界模型是这一问题的解法。

世界模型从视频中学习预测动态，并将那些在计算上难以大规模模拟的情况（如随机群体行为），压缩为神经网络中一次固定成本的运算。

(来源：Not Boring)

在世界模型中，整个体育场作为一次固定成本的前向传播（forward pass）被模拟。场景复杂度不会导致推理时的指数级减速，因为世界的模式已在训练阶段被吸收进模型权重。

关键在于“动作”（Action）。

动作是一种压缩形式，携带了推演未来状态所需的信息。每一个动作都包含足够的信息，让模型预测接下来会发生什么，直到下一个动作更新画面。这种以行动为条件（action-conditioned）的方法，让模型能像人类一样与世界交互：观察、计算、决定、行动。

对计算机而言，动作是绕开高昂模拟成本的捷径。如果人脑比大语言模型高效得多，观察人类如何回应环境，我们几乎能“免费”获得那些计算结果。这种“计算不可计算之物”的能力，正是世界模型推动具身 AI 进步的核心原因。

二、 视频模型 vs. 世界模型：梦与清醒梦

可以把模型想象成梦。

• 视频模型：你站在梦中旁观，无法介入。它基于概率预测下一帧 $P(x_{t+1} | x_t)$。
• 世界模型：你处于清醒梦（Lucid Dream）中，知道身处梦境并能改变走向。它基于干预预测下一个状态 $P(s_{t+1} | s_t, a_t)$。

那个 $a_t$（t 时刻的动作）就是魔法所在。

(来源：Not Boring)

在 General Intuition 看来，世界模型是一类新的基础模型。对于需要深度时空推理的环境（如真实世界），它们可能比大语言模型更强大。

世界模型从观察世界及其中发生的动作中学习。它们提供了一条仅靠语言和代码无法达到的通往通用智能的路径。毕竟，人类的一生就是不断根据经历、观察和学习去采取行动。

为什么 LLM 走不通？

最近，Yann LeCun 为 AMI 融资 10.3 亿美元，李飞飞的 World Labs 融资超 10 亿美元，Google DeepMind 也在押注世界模型。但外界看到的往往是酷炫的视频和 3D 世界，而非通用智能。

大模型能引用莎士比亚，解决数学难题；世界模型看起来更像通往元宇宙的路径。部分原因在于定义模糊。

• 视频模型不算世界模型。
• 3D 空间模型也不算。
• 当前驱动机器人的模型严格来说也不完全算，尽管共享部分特征。

炒作让概念混乱。AMI Labs CEO Alexandre LeBrun 预测“世界模型”将成为下一个流行词，每家公司都会自称世界模型公司以融资。

但核心信念一致：世界模型是控制物理世界中机器的路径。

NVIDIA 机器人业务负责人 Jim Fan 指出：“2026 年将是大型世界模型为机器人及多模态 AI 奠定真正基础的第一年。”

三、 历史脉络：从洞穴寓言到梦中学习

世界模型并非新概念，它根植于人类对现实本质的追问。

• 公元前 380 年：柏拉图提出“洞穴寓言”，暗示我们看到的只是现实的影子。
• 公元前 300 年左右：庄子梦蝶，思考现实与梦境的界限。
• 20 世纪中叶：科幻作家如 Frederik Pohl、William Gibson、Neal Stephenson 描绘模拟世界。
• 1977 年：Philip K. Dick 演讲称：“我们生活在一个由计算机编程的现实中。”
• 1999 年：《黑客帝国》向大众引入“模拟世界”概念。

1990-1991：理论的萌芽

1990 年，Jürgen Schmidhuber（LSTM 之父）发表《让世界可微分》，提出构建 RNN 学习预测模拟世界，并训练 Agent 在其中行动。
1991 年，Richard Sutton 发表《Dyna》，主张学习、规划和反应应统一在单一架构中。

这两篇论文极具远见，但在当时算力匮乏（1990 年全球算力仅约 10-100 gigaFLOPS，数据仅 10 PB）的背景下，几乎如同科幻。

2018：Agent 能在梦中学习吗？

近 30 年后，David Ha 和 Schmidhuber 发表《World Models》论文。他们构建了一个三组件系统：
1. 视觉模型 (V)：将像素压缩为紧凑表示。
2. 记忆模型 (M)：RNN，学习预测未来。
3. 控制器 (C)：基于 V 和 M 的输出决定动作。

世界模型 = V + M。

他们在 Atari 游戏中训练该模型，让 Agent 完全在生成的“梦境”中练习，随后将策略迁移回现实。结果成功：Agent 解决了现实中未遇到的任务。

这证明了计算机可以像人类一样：创建模拟以预测未来状态，基于预测行动，然后更新循环。

关键是行动，而非言语。

四、 为什么语言与代码不够？

语言的有损压缩

想象拍五下手。要求精确到皮秒描述双手位置、相对运动、接触点、声音、空气流动、袖子反应、旁人反应甚至老板额头青筋。

你做不到。语言是对现实的极度有损压缩。

大语言模型（LLM）擅长符号操弄，能描述拍手，但不能拍手。它们能谈论重力，但不像幼儿通过跌倒理解“向下”。LLM 是“卡斯塔利亚人”（赫尔曼·黑塞《玻璃球游戏》中的知识乌托邦居民），精通抽象符号，却与现实脱节。

代码的局限

代码是精确的语言，但基于代码的模拟只是粗糙的梦。它被规则束缚，难以处理现实世界中随机、混乱、不可预测的部分。

要了解世界，你必须与之交互。

世界模型为 AGI 提供了另一条路径：计算那些在传统约束下不可计算的东西。它们学习的是克内希特最终追寻的——与现实的混乱接触。

世界模型不是 LLM 的替代品，而是互补者。文本用于设定条件和长期任务，但行动必须来自文本之外。

五、 什么是世界模型？

定义：世界模型是一种交互式预测模型，模拟时空环境，且模拟会随动作发生变化。

• 大模型：预测下一个词。
• 世界模型：预测下一个状态（即时未来），取决于当前状态和控制输入。

本质：大模型学习语言结构，世界模型学习因果结构。

世界模型的三大作用

1. 替代训练场：Agent 在梦中练习，迁移回现实。安全、低成本、数据高效。
2. 长期规划：在行动前“想象”后果，类似棋手推演。
3. 丰富表征：Agent 学习的是对行动重要的特征，而非原始像素。

模拟到现实（Sim2Real）的可行性

Allen Institute for AI 发布的 MolmoBot 表明，面向操作任务的模拟到现实零样本迁移是可能的。纯模拟训练的策略在某些任务上优于在数千小时真实数据上训练的 VLA 模型。

流程：
1. 世界模型生成逼真环境。
2. Agent 在生成世界中训练。
3. Agent 迁移回真实环境测试。

六、 世界模型如何构建？

目前尚无单一最优架构，但训练要素相对稳定。

1. 数据：观察与动作配对

• 观察数据：通常是视频，可提前收集。
• 动作数据：同步记录，或由另一模型推断。
• 因果链接：动作提供“因”，观察变化提供“果”。

2. 潜空间（Latent Space）

直接预测原始像素成本高且冗余。现代世界模型引入潜空间，将每帧压缩为紧凑向量（数学指纹）。模型学习预测下一个“指纹”，而非每个像素。

3. 处理不确定性

• 认知不确定性：模型未知（如没见过红绿灯）。
• 偶然不确定性：固有随机（如掷骰子）。

朴素模型（如 MSE）会导致预测“模糊”（平均化所有可能结果）。
* 扩散模型：从结果分布中采样清晰模式。
* 自回归模型：逐个 token 采样。
* JEPA：绕开像素解码，在抽象空间预测，避免模糊问题。

4. 输出形式

• 可视化模拟器：通过视觉解码器生成像素视频（如 Google DeepMind Genie, World Labs）。
• 潜空间预测器：仅预测抽象表征（如 LeCun JEPA）。

七、 为什么“动作”是终极压缩形式？

当你决定向左迈步避开水坑时，大脑处理了视觉场景、预测未来、评估选项，最终输出一个动作：向左迈一步。

外部观察者看不到内部计算，只看到动作。

动作是所有瞬时计算的输出。

世界模型学习的是“观察 -> 动作 -> 后果”的映射。它将时空压缩，利用动作推演未来。

• 传统模拟：需为每种行为编码规则，计算成本随 Agent 数量指数上升。
• 世界模型：计算成本固定为一次神经网络传播。随机性已被吸收进权重。

世界模型是一种计算不可计算之物的方式。它不硬编码确定性规则，而是观察、学习、行动。

八、 世界模型与策略（Policy）

• 世界模型：环境的模拟。接收动作，生成预测观察（“如果你做 X，会发生 Y”）。
• 策略（Policy）：Agent 的大脑。接收观察，产生动作（“我要做 X”）。

关系：世界模型是梦，策略是做梦的人。

最新研究倾向于将二者结合：在世界模型基础上训练策略，或共同构建。一个学会预测世界的系统，能更快学会如何在世界中行动。

九、 世界模型简史

第零阶段（1990-1991）：理论提出

Schmidhuber 与 Sutton 提出 Agent 可学习内部模型并用于预测规划。

第一阶段（2018-2019）：可行性验证

Ha & Schmidhuber 的《World Models》证明 Agent 可在梦中学习。SimPLe 算法在 Atari 100k 基准上展现高样本效率。

第二阶段（2020-2022）：人类水平与架构分化

• DreamerV2：使用循环状态空间模型（RSSM），在 55 款 Atari 游戏中达到人类水平，完全在想象中训练。
• MuZero：不生成可观察梦境，仅在抽象潜在表征中规划，击败 AlphaGo/AlphaZero，且无需硬编码规则。

分化出现：
1. 生成式路线：生成可观察的未来（Dreamer）。
2. 潜空间路线：在抽象空间预测（MuZero）。

第三阶段（2022-2024）：交互性与扩展

• JEPA (2022)：LeCun 提出联合嵌入预测架构，反对生成像素，预测抽象表征。
• IRIS (2022)：Micheli & Alonso 将世界建模定义为语言建模，使用离散视觉 token 的自回归 Transformer。
• 游戏与 AI 的关系：游戏提供海量带标签时空数据，是具身 AI 的实验台。

第四阶段（2023-2025）：真实世界交互

• GAIA-1 (2023)：Wayve 将序列建模扩展到 90 亿参数，用真实驾驶视频训练，证明扩展定律适用于视觉世界模型。
• DIAMOND (2024)：General Intuition 联合创始人开发，使用扩散模型直接预测未来帧，提高视觉保真度与 Agent 表现。
• GAIA-2 (2025)：多摄像头自动驾驶模拟，再现真实驾驶复杂性。
• Genie (2024)：Google DeepMind，110 亿参数，从零学习动作空间，生成可玩世界。
• Sora/Veo：视频生成模型，但缺乏交互性，非严格意义上的世界模型。

核心区别：交互性。世界模型能回应动作，视频模型仅预测视觉序列。

十、 当前格局与路线之争

1. 基础模型

• LLM：理解世界结构，但无行动能力。是 Agent 的推理骨干。
• 视频模型：生成惊艳视频，但不可交互。是通往世界模型的跳板。

2. 世界模型

A. 潜空间世界模型 (Latent World Models)

• 代表：LeCun 的 JEPA / AMI Labs。
• 哲学：世界不可预测，无需预测像素细节。在抽象空间预测因果结构。
• 优势：计算高效，适合规划。
• 劣势：难评估，难可视化，迭代慢，易表征坍缩。
• 混合尝试：Moonlake（Chris Manning, Ian Goodfellow 创办），用生成式环境吸引玩家收集动作数据，再在抽象空间训练。

B. 生成式世界模型 (Generative World Models)

• 代表：General Intuition, Wayve (GAIA), Google DeepMind (Genie), Runway (GWM-1)。
• 哲学：模拟人类感知现实。生成可观察、可交互的未来。
• 优势：视觉细节丰富，可解释性强，Agent 可直接观察输出判断对错。
• 劣势：计算成本高，需处理不可预测的视觉噪声。
• 现状：General Intuition 押注扩散/流匹配架构。Wayve 用其生成边缘案例训练驾驶策略。

3. 具身 Agent

A. VLA (Vision-Language-Action Models)

• 代表：Physical Intelligence (Pi), Skild, Arda。
• 方法：在 VLM 基础上加动作头。复用 LLM 基础设施。
• 优势：工程实用，利用现有庞大生态，泛化能力尚可。
• 劣势：架构非最优，依赖大量真实数据，分布外泛化有限。
• 观点：VLA 与世界模型并非竞争，而是不同路径。VLA 利用递增收益，世界模型追求理论最优。二者最终可能汇合。

B. 潜空间 Agent

• 代表：DreamerV4 (Danijar Hafner), Embo (Hafner & Wilson Yan)。
• 方法：在潜空间世界模型中训练 Agent，完全在梦中练习。
• 挑战：Agent 质量取决于潜在表征质量。“垃圾进，垃圾出”。

C. 通用具身 Agent

• 代表：Google DeepMind SIMA 2。
• 方法：结合 Gemini (语言理解) 与世界模型 (时空执行)。视频为一等公民。
• 特点：可在任意 3D 游戏中推理、学习、行动。

十一、 General Intuition 的路径：从游戏数据出发

数据优势：Medal

General Intuition 的起点是 Medal，一个全球游戏视频平台，拥有超 10 亿个游戏片段。

• 真实标签：Medal 数据包含玩家实际看到的画面及精确的游戏内动作（如“前进”、“跳跃”），而非按键映射。
• 信息完整：游戏画面无姿态估计误差，所见即所得。
• 规模与多样性：数万亿个“观察-预测-行动”循环样本。

数据分类：
* 合成数据：人工环境生成。
* 真实标签数据：人类真实行为记录。
* Medal 数据：数字环境中的人类真实标签数据。

迁移曲线

通用模型需解决三条迁移曲线：
1. 输入模态迁移：从游戏控制器到物理执行器。
2. 传感器迁移：从视觉到触觉/本体感受。
3. 环境迁移：从模拟到真实复杂环境。

General Intuition 的策略：
* 聚焦游戏控制器输入，简化输入模态迁移。
* 聚焦视觉输入，规避专用传感器难题。
* 赌注：游戏数据中的因果结构可迁移至物理世界。

超人类未来

世界模型学习的是因果结构。一旦理解 N 种世界变体，即可泛化至 N+1（真实世界）。

机器人形态：
无需复制人类身体。应复制人类本能使用的接口（操纵杆、方向盘、手柄）。这些接口将意图压缩为通用动作空间。

社会责任：
AI 替代冲击严峻。General Intuition 探索让用户通过 GPU 提供推理服务或游戏设备遥操作来参与并受益。

结语

构建世界模型意味着巨大的责任。我们不需要映射现实的每一个细节，只需观察细节如何体现在动作中，并利用动作预测未来。

也许事情的发展逻辑就是：太初有大模型，然后世界模型诞生。

世界模型提供了一种高效进行非确定性计算的方法，让我们有可能运行那些在传统计算约束下本不该实现的模拟。它们不是 LLM 的替代品，而是通向通用智能的另一条必经之路。

Agent 能在自己的梦中学习吗？
答案是：能。

参考资料：https://www.notboring.co/p/world-models#footnote-3-191268033
运营/排版：何晨龙
注：封面/首图由 AI 辅助生成