世界模型真假分辨权威指南：李飞飞手把手教你实战技巧
过去18个月，超过100亿美元资本涌入世界模型与机器人AI公司。一个值得注意的现象：那些应用世界模型的企业，其融资规模甚至超过了专门构建世界模型的企业。
毋庸置疑，世界模型已站上风口。但其实际概念至今众说纷纭，缺乏统一共识。
今天上午，李飞飞与World Labs团队发布了一篇专题文章《世界模型的功能性分类》。她直言，“世界模型”已成为当今AI领域最重要、同时也被滥用最严重的术语之一。上个月，MoE Capital的Henry Yin与Naomi Xia也在博客中吐槽：当前冠以“世界模型”之名的多数系统，本质上并不符合世界模型的定义。
在这个关键节点，李飞飞的这篇文章提供了一套难得的清晰分析框架。她引入强化学习中的经典结构，完整阐释了“世界模型”的定义，并将当前复杂的生成模型、物理模拟系统与具身智能方法，从功能维度划分为三类：渲染器、模拟器与规划器。
对于正处于路线分化与资本博弈中的AI产业而言，这不仅是一次技术分类，更像是一份关于未来主导权的路线图。在这一划分下，原本各自为战的不同技术路径，首次被置于同一坐标系中对比。李飞飞同时指出，三者正在走向融合：“当它们的边界消融时，将共同重塑一个更宏大的命题：机器智能与其所处物理世界之间的关系——这恰恰是空间智能的长期演进轨迹。”
在她看来，“终点是一个统一的世界模型：一个基础模型，既能渲染照片级真实的视图，又能生成物理准确的结构，还能规划行动序列，并根据下游需求灵活切换输出模式。”
她在文末点明：“语言让机器能够谈论世界。而世界模型，将让机器最终具备理解、想象、推理并与世界互动的能力。”这句话背后隐含的判断十分明确：决定下一阶段AI能力上限的，不是更会“说话”的模型，而是更贴近物理真实的“模拟能力”。
以下是原文内容编译，在不改变原意的基础上进行了编辑。
语言只是表层，世界模型的核心在物理模拟
在之前的文章中，我们论证过空间智能是人工智能的下一个前沿，而世界模型是通往这一目标的路径。World Labs团队和我认为，有必要进一步深挖：在当前被构建并称之为“世界模型”的众多系统中，究竟哪些功能性组件真正构成了这种能力？每一部分又分别承担什么角色？
语言模型赋予了机器对概念、词汇和推理的强大掌控力。但无论是虚拟世界还是真实世界，物理世界运行的底层结构截然不同。语言模型学习的是文本的统计结构，而世界模型学习的是时空的统计结构：光如何落在表面上，一个从未被相机捕捉过的花园看起来是什么样，物体如何对力作出反应并遵循物理定律。
这使得“世界模型”成为当今AI领域最重要、同时也被过度使用得最严重的术语之一。计算机视觉、机器人学、强化学习和生成式AI都声称在构建世界模型，但各自所指的却是完全不同的事物。一个能生成华丽但物理上不可能的视频火焰模型，一个即兴生成可玩场景的语言模型，以及一个忠实模拟燃烧过程的物理引擎，都会被冠以同一名称。
古希腊人从未就世界由什么构成达成共识——是火、水还是不可分割的原子——因为“世界”从来就不是一个单一实体。它始终只是一个替代性概念，用来指代某个思想家需要推理的整体。AI在此刻继承了同样的问题，而这个领域恰恰需要精确性。
从POMDP循环看分类逻辑
要理清这种混乱，不妨从一个比上述任何技术都更古老的框架开始。强化学习教材，包括Sutton和Barto的经典著作，几十年来一直使用类似的图来描述智能体如何与世界交互。这个图的正式名称是“部分可观测马尔可夫决策过程”（POMDP），而“世界模型”这一术语最初正是源于这一传统。
一个智能体（可以是人、机器人或软件系统）采取行动，这些行动会影响世界的状态。智能体永远无法直接看到状态，它接收到的是观测：落在视网膜上的光子、传感器的读数、视频帧中的像素。新的观测会引导新的行动，如此循环往复。
“状态”这个词需要展开说明，因为它在不同领域中的含义有所变化。这里指的不是化学中的状态（固态、液态、气态），而是物理学和机器人学中的状态：在某一时刻对世界正在发生的一切的完整描述——包括每一个物体、每一个位置、每一个速度、每一个属性。状态是世界的底层现实，在原则上是完整的，但对任何智能体而言都不可直接观察。观测是智能体对这一现实的部分视图，行动是智能体对此作出的响应。
这个循环——从智能体到行动，到状态，再到观测，然后回到智能体——构成了现代“世界模型”这一术语的结构基础。这个短语本身更早，可以追溯到Kenneth Craik在1943年提出的观点：心智通过运行现实的“小规模模型”来进行推理；这一思想在1980年代末到1990年代初被引入神经网络领域。这个循环也解释了人们今天如何使用这一术语：如今被称为世界模型的不同事物，其实是这个循环的不同投影，每一种输出其中的不同部分。
世界模型的三类功能：渲染、模拟、规划
第一类世界模型是“渲染器”。渲染器输出的是观测——以供人眼观看的像素形式呈现，其最重要的指标是视觉保真度。一个将文本提示转换为电影级航拍镜头的视频模型就是渲染器。像Google的Genie 3或World Labs自己的RTFM这样的交互式系统也是如此，它们能在用户输入条件下实时生成画面。这类模型并不具备对三维结构的显式理解，它们生成的是“看起来是什么”，而不是“实际上是什么”。航拍镜头中的建筑从上方看可能完美无瑕，但一旦试图在城市中行驶，这些结构就会崩塌。
第二类是“模拟器”。模拟器输出的是状态：一种在几何、物理或动态上都忠实于世界的表示，人类和计算机程序都可以对其进行计算和交互。渲染器的契约是纯视觉的，而模拟器的契约是结构性的——它要求几何在检查下成立、物理遵循牛顿定律、动态行为符合世界在物理规律下应有的表现。模拟器同时服务两类对象：一类是人类专业人士，如建筑师、设计师、电影制作人和游戏开发者，他们需要超越视觉合理性的精确性；另一类是计算机程序，如强化学习智能体、机器人控制器和自动驾驶系统，它们将模拟器作为训练环境，在其中以规模化方式与世界交互，测试那些在现实中危险、昂贵或不可能执行的场景。
第三类是“规划器”。规划器输出的是行动。在给定观测和目标的情况下，规划器回答智能体下一步应该做什么。在很多方面，它是渲染器的反向过程：渲染器以行动为输入生成观测，而规划器以观测为输入生成行动，从而闭合感知—行动循环。视觉-语言-动作模型、基于模型的方法以及新一代的World Action Models，都是在尝试构建规划器——能够在非结构化世界中决定机器人该做什么的系统。
这三类涵盖了当前实际落地的大多数系统，这种区分在实践中也很有用。然而，它们在根本上并不是彼此独立的。关于世界如何运作的同一底层知识——几何、物理和动力学——支撑着它们全部。一个能够从任意角度渲染杯子的模型，从原则上也应该能够模拟杯子被推动时会发生什么，并规划一只手去抓起它。越来越多最有趣的研究，正是在有意模糊这三者之间的界限。
为什么模拟是核心关键？
在这三类中，模拟器获得的公众关注最少，却是三者中最具决定性的。这篇文章正是要讨论这种不对称。
渲染器在商业上最为成熟。大量图像或文本生成视频的产品正在消费级和企业市场快速扩张。Google的Nano Banana模型已经将高质量图像生成能力带到了可能数亿用户手中。技术是真实的，市场也是真实的。然而，渲染器优化的是视觉合理性而非物理准确性，这一上限非常重要。它们的输出美丽，但无法用于设计建筑或训练机器人。
规划器最具吸引力，同时也最为初期，它与快速发展的机器人学习领域紧密相关。过去两年中，该领域展示了许多看起来令人印象深刻的机器人演示视频，但需要坦诚地看待这些演示的实际含义。几乎所有演示都局限在高度受控的实验室环境中，使用有限的物体集合和短任务周期。没有任何系统在现实世界部署所需的复杂性、变化性或持续时间上得到验证。从令人惊艳的演示到在厨房、仓库或手术室中可靠工作的机器人之间，仍存在巨大的差距。尽管如此，商业投入依然巨大。一批资金雄厚的新进入者正在竞相推出通用规划系统，而最大的基础设施玩家则在更广泛的模拟体系之上布局规划能力。一个能够进行规划的机器人，才是一个能够工作的机器人——整个行业都在争夺这一目标。
模拟正是连接两者的桥梁。如果说语言是对世界的抽象，像素是对世界的投影，那么几何、物理和动力学就是世界本身。模拟器必须在这一层面运作：这是一个结构性的骨架，从中既可以导出视觉外观（供渲染器使用），也可以导出行动结果（供规划器使用）。
一个掌握了模拟能力的模型，可以将其理解投射为供人类使用的像素，也可以投射为供具身智能体使用的行动预测。而一个只掌握渲染或只掌握规划的模型，则无法做到这两点。其商业空间巨大。仅NVIDIA的Omniverse就瞄准了公司估计超过一万亿美元的潜在市场，涵盖工厂、仓库、供应链和数字孪生。机器人训练、自动驾驶测试、建筑可视化、工程设计以及药物发现等领域，都依赖某种形式的模拟。
该领域最困难的开放问题也集中于此。具有明确几何、材料属性和物理标注的三维数据，相比渲染器所依赖的互联网视频要稀缺得多。“仿真到现实”的差距仍然存在——即模拟中的行为与现实中的行为之间的差异。在此基础上，生成式模拟器还引入了新的风险：AI生成的几何可能看起来正确，但却包含自相交或尺度错误，从而导致物理行为毫无意义。多物理场的大规模模拟——刚体、可变形物体、流体和布料相互作用——在计算成本上仍比单一领域模拟高出数个数量级。
在World Labs，我们的Marble是进入这一领域的第一步。它可以接受多模态提示（文本、图像、视频或空间草图），生成可探索的三维环境，同时输出用于视觉探索的Gaussian splats，以及供物理引擎使用的碰撞网格。但Marble只是一个开端，整个领域正在书写一条更长的轨迹——渲染、模拟与规划之间的界限正在逐渐消融。
边界正在消融：统一世界模型的未来
未来还会有更多发展。当前该领域最重要的趋势是，这三类正在开始彼此融合。共同的洞见是：渲染世界、模拟世界以及在世界中行动所需的知识，本质上是相同的。延续之前的例子，一个真正理解杯子如何放在桌面上的模型（包括其几何、材料属性、受力响应等），应该能够从任意角度渲染该杯子，模拟推动它时会发生什么，并规划一只手去抓起它。这三类其实是同一底层理解的三种投影。
例如，来自多个机器人实验室的一些最新工作已经表明，至少在概念上，一个预训练的视频渲染器可以作为联合世界与行动预测的基础，从而在渲染器与规划器之间建立桥梁，让同一个模型既能想象会发生什么，也能决定该做什么。World Labs的Marble已经能够从一个模型中同时输出Gaussian splats和碰撞网格，从而打破了渲染器与模拟器之间的界限。每一层都在从被动输出转向交互系统：渲染器变得可由行动条件控制，模拟器生成的世界更加可控和可编辑，而规划器则从简单反应转向更具推理能力的决策。
其逻辑终点是一个统一的世界模型：一个基础模型，既能渲染照片级真实的视图，又能生成物理准确的结构，还能规划行动序列，并根据下游需求在不同输出模式之间切换。当然，我们仍将面临诸多挑战。数据分布极不均衡：渲染器拥有海量互联网视频，而模拟器和规划器却严重缺乏三维资产和机器人演示数据。对视觉美感的优化，可能会牺牲机器人或高保真模拟所需的精确性。在同一架构中调和这些张力，是当今世界模型研究中最核心的开放问题，也是World Labs在推进Marble过程中试图解决的方向。
方向已经非常清晰。自1980年代末以来，该领域一直在押注：只要拥有足够丰富的世界模型，智能体就能够观察世界、构建世界并在其中行动。如今，这一“重大赌注”正在驱动新一代研究，其力量来自正在发生的融合：三条原本独立的研究路径，各自已经支撑起数十亿美元产业，开始表现得像一个整体。当它们的边界消失时，它们将共同重塑更宏大的东西：机器智能与其所处物理世界之间的关系——空间智能的长期演进轨迹。
语言让机器能够谈论世界。而世界模型，将让机器最终能够理解、想象、推理并与世界互动。