Google(GOOGL-US) DeepMind 推出新一代世界模型 Genie 4，让人工智慧（AI）生成技术从制作影片进一步迈向可即时探索、互动的虚拟环境。使用者只需输入文字提示，就能建立虚拟场景，并在运行过程中改变天气、加入人物与物体，甚至与虚拟角色对话。不过，目前单次模拟仍仅能维持约 2 分钟，长时间运行的场景一致性也有待改善。

相较于传统影片生成模型主要产出预先决定的影像内容，Genie 4 能根据使用者的操作持续生成后续画面，并结合声音、物理模拟与角色行为，让虚拟世界随着互动不断变化。

这项技术的另一项关键进展，是 Google 将 Gemini 模型引入世界模拟，由语言模型负责规划与推理，Genie 4 则负责生成环境，为 AI 代理（AI Agent）与机器人训练提供新的发展方向。

Genie 4 将影片生成转向即时互动　单次模拟可达 2 分钟

Google DeepMind 自 2024 年推出 Genie 以来，持续探索 AI 如何从影片中学习环境与动作之间的关系。后续版本逐步扩展至可探索的3D环境，Genie 3 则进一步实现即时生成与互动。

此次 Genie 4 再提升画面真实感、物理模拟及互动能力，单次模拟时间也延长至约 2 分钟。

根据展示内容，使用者只需输入文字，就能建立可探索的虚拟世界，并透过键盘控制角色、调整镜头，或在模拟进行期间继续下达指令，改变原有场景。

例如，使用者可以先生成一座由马匹与机器人共同生活的新哥德式粗犷主义城市，再加入巨龙或友善的水獭角色。

华顿商学院教授Ethan Mollick便展示类似的实测成果，呈现模型从文字提示建立场景，再依照后续指令增加内容的能力。

创投公司 a16z 投资人Justine Moore也展示在 AI 即时生成的城市中自由探索的情境。这类模拟不必事先制作完整的3D地图，也不受限于固定的场景演出，而是根据使用者的操作持续生成后续内容。

在物理模拟方面，Google 展示了西瓜受到撞击、枫树种子从空中飘落，以及乡村火车站等场景，呈现碰撞、重力、空气动力学与人物行为。虚拟角色也能根据周遭环境作出反应，并接受使用者即时控制。

首度支援原生音讯生成　虚拟角色可即时回应

Genie 4 的另一项重要升级，是首次在 Genie 系列中支援原生音讯生成。模型能在生成虚拟环境的同时，产生环境声音、音乐及人物对话，让声音与画面中的事件同步发展。

例如，海边可以出现海浪声，森林里可以听见风声，角色移动时也能产生与环境相符的声响。除了环境音，Genie 4 也开始支援即时互动对话，让虚拟人物根据使用者的输入及场景中的事件，动态产生语言与反应。

这与传统游戏中依赖预设台词及行为逻辑的非玩家角色（NPC）有所不同。透过生成式模型，虚拟角色有机会根据互动情境调整回应，让使用者不只探索环境，也能与场景中的人物交流。

不过，Genie 4 目前仍存在音讯准确性及长期一致性等限制。若要进一步支援大型开放世界游戏，仍须改善模拟的稳定度与持续运行能力。

Gemini 负责规划　Genie 4 模拟机器人执行任务

除了生成画面与声音，Google 也试图透过 Gemini 强化世界模型的推理与规划能力。

在这套架构中，Gemini Omni 为模拟提供对现实世界外观及行为的理解基础，Gemini 3.8 Flash 则负责观察生成画面、拆解任务步骤，并判断各个步骤是否完成。

Genie 4 依据这些规划生成虚拟环境，让模拟不只呈现画面，也能配合任务进展调整。

当使用者改变指令，或环境出现变化时，Gemini 可以重新规划后续行动。这种结合有助于模型处理较复杂的多步骤任务，而非只生成单一动作的视觉结果。

Google 展示的研究实验中，Gemini 4 Argon 将任务拆解为一连串步骤，再由 Genie 4 即时模拟 Apptronik 旗下 Apollo 人形机器人与对手进行跳棋对弈的过程。

对机器人研发而言，这类能力具有潜在价值。实体机器人的训练需要设备、场地及反复实验，部分高成本或危险情境也不容易实际测试。如果虚拟世界能够更准确地模拟物理环境，研究人员便有机会先在模拟中测试不同策略，再探索将相关能力转移至真实环境的可能性。

Google DeepMind 研究主管 Tejas Kulkarni 指出，结合语言模型的结构化推理与世界模型的感官模拟，是混合世界模型的重要发展方向。

语言模型负责规划及组织复杂事件，世界模型则将这些规划转化为持续变化的画面、声音与物理环境。

从电影制作到工业仿真　世界模型应用范围扩大

Google DeepMind 已邀请电影、游戏、新闻、教育及工程等领域的测试者，探索 Genie 4 的应用方式。

在电影制作方面，创作者可以透过文字建立虚拟场景，再进入其中调整镜头、人物动作及对白，快速尝试不同的拍摄方案，减少部分前期场景建构与预演工作的需求。

对游戏开发者而言，Genie 4 也可能成为快速原型工具，协助建立游戏环境并测试美术风格、材质表现与基础互动玩法，再决定是否投入资源进行正式开发。

新闻与教育领域则可探索将2D历史照片转化为可互动的动态场景，或模拟洪水、野火等事件的发展过程。不过，根据历史照片生成的场景仍包含 AI 推测的内容，不能直接视为对历史事实的准确重建。

在企业应用方面，世界模型也可能用于工业仿真、机器人研发及复杂环境测试，协助降低部分实体试验的时间与成本。

随着应用范围扩大，世界模型也成为 AI 产业竞逐的方向之一。除了 Google，Runway 已推出支援即时音讯与互动的 GWM Worlds 2；由李飞飞创立的 World Labs 则着重空间智能，强调3D环境的重建、编辑及长期一致性。

模拟仍有时间限制　长期一致性成为关键挑战

分析指出，尽管 Genie 4 展现更强的互动能力，距离完整、稳定的数位世界仍有差距。目前单次模拟时间约为 2 分钟，随着运行时间拉长，物体细节可能改变，场景也可能出现前后不一致的情况。

当使用者持续修改指令，或在较大的环境中不断探索时，模型也可能难以准确保留先前的场景资讯。此外，复杂物理互动、空间准确性、音讯生成，以及画面中文字的可读性，仍有改善空间。

目前，Genie 4 已向部分受邀测试者开放研究预览，后续规划透过 Project Genie 向 Google AI Ultra 订阅用户开放，并逐步提供 Gemini API 与 Google AI Studio 的早期合作伙伴使用。

从文字、图片到影片，再到可即时探索并具备声音与角色行为的虚拟环境，生成式 AI 的能力正从内容产出延伸至环境模拟。Genie 4 的重要性不只在于画面更加逼真，而是尝试结合语言模型的推理能力，让 AI 在虚拟世界中规划行动、观察结果并调整策略。

对 AI 代理与机器人而言，理解行动可能造成的后果，并在虚拟环境中反复测试不同选择，可能比单纯生成高品质影片更具长期价值。世界模型能否进一步提升模拟的准确性与持续性，将是这项技术迈向实际应用的重要关键。