10月27日,Google DeepMind发布了第四代世界模型Genie 4,以研究预览(research preview)形式向受信测试者开放。Google CEO皮查伊在社交平台上称这是他们「迄今最真实、最具交互性的世界模型」。与前几代一样,你给它一段文字或一张图片,它就逐帧实时生成一个可以用键盘走进去的世界;不一样的是,这个世界第一次自带声音——风声、水声、背景音乐,以及会根据你的行为实时改口的对话。
在此之前四天,Google 高管刚发完GPT-6.1 Terra那波「AI操作电脑屏幕」的讨论;一个月前,Runway刚发布GWM Worlds 2。实时世界模型这条赛道,在2026年最后一个季度彻底挤满了头部玩家。
世界模型不是「生成一段视频」
先把概念厘清,因为这是最容易混淆的地方。视频生成模型(比如大家熟悉的Sora一类)做的事情是:根据提示词,离线算出一段固定时长的片子——算完就是算完,你无法中途插手。
世界模型(World Model)走的是完全不同的路线。它不预渲染任何东西,也没有预先搭建的3D场景和游戏逻辑,而是像一个「无限续杯的做梦机器」:你每移动一步、每按下一个键,它就现场推理「接下来这一帧应该长什么样」,实时渲染出你转角之后遇到的一切。DeepMind在官方博客里说得直白:理解和模拟世界,是通向通用人工智能(AGI)的关键一环。
这条技术路线的源头颇有点无心插柳。DeepMind研究总监在介绍会里回忆,团队最初做Genie只是为了研究「智能体在游戏环境里如何工作」——想训练更强的智能体,就需要更丰富的模拟环境,于是干脆训练一个能无限生成新环境的世界模型。Genie 1当年是个「不太确定能不能成」的高风险研究项目,如今走到了第四代。
Genie 4真正的新东西:声音,以及一个「监工」
对比2025年8月发布的Genie 3,Genie 4的升级集中在三处。
第一是原生音频。 这是DeepMind第一个能实时生成音频的世界模型:场景里的风穿过树林、海浪拍岸,都与画面同步生成,而非事后配音。更关键的突破是人声——Genie 4支持交互式对话,场景中的角色会说话,会根据你的输入和世界里发生的事件实时调整回应。在AI视频领域,逼真人声的加入曾是真实感的一次跃迁,现在类似的变革正在世界模型上重演。
第二是双模型架构,这是整个发布里最有技术含量的部分。 Genie 4不再是单一模型单打独斗:画面由基于Gemini Omni的生成模型渲染,而Gemini 3.8 Flash扮演「环内向导」(guiding agent)的角色——它持续观察每一帧画面,把你的目标拆解成步骤,逐帧核对每个步骤是否达成。如果你中途插手改了天气、挪了机位、塞进一个新角色,Gemini会重新解释你的指令,让它适配当前画面,并在你停止输入的间隙继续「扶着」这个世界,使其不至于散架。DeepMind研究者把这个方向称为「混合世界模型」:语言模型负责规划和因果,像素模型负责长相和声音。
第三是物理与人物模拟的明显进步。 DeepMind称人物模拟是「最戏剧性的跳跃」——演示里的1980年代日本火车站台、剧院后台漫步,看起来更接近实拍素材而非游戏引擎渲染。碰撞、空气动力学等物理事件的合理性也有提升。
另外要澄清一个传播中的误读:运行中用文字改场景并非Genie 4首创,Genie 3的「可提示世界事件」已有雏形,Genie 4的真正变化是解释和执行这条指令的换成了Gemini。
赛道全景:不止Google一家
把视野放宽,实时世界模型在2026年已经成为头部实验室的必争之地:
- Runway GWM Worlds 2(9月3日发布):720p/24帧实时视频加48kHz音频,主打「任意动作」泛化——挥手、攀爬、对话、召唤沙暴,都能用自由文本描述。它提出的WorldPrompt格式把世界拆成「持久状态(场景、角色、物理法则)+ 带时间戳的事件流」两层,被认为是控制生成世界的一种标准化尝试。据Latent Space报道,Runway今年2月完成了3.15亿美元融资,估值53亿美元,资金明确投向下一代世界模型预训练。
- World Labs:李飞飞创办,旗下RTFM瞄准实时帧生成,Marble则走另一条路——直接产出可下载、可导入Unreal和Unity的持久3D环境。
- Odyssey-2 Pro:提供SDK/API,允许把交互式视频流嵌入应用。
- NVIDIA Cosmos:面向机器人与自动驾驶的物理精确模拟,走开源开放权重路线,与Runway联合发起了Cosmos Coalition。
有意思的是各家的差异化:Google拼的是「Gemini全家桶协同 + 通往AGI」的叙事,Runway拼的是控制精度与开放生态,World Labs干脆绕开实时流、直接给3D资产,NVIDIA则押注机器人训练数据。
离真正可用还差什么:Google自己列的短板
值得称赞的是,这次DeepMind没有只晒演示,还在模型页面上公布了一份相当坦诚的局限清单:
- 一致性漂移:视觉细节和物体恒存性会随时间漂移,会话越长、编辑次数越多、移动越剧烈,漂移越严重。目前一套场景的一致性大约维持两分钟——比Genie 3产品化时的60秒翻了一倍,但仍以「分钟」计。
- 多智能体交互:用户、多个智能体与共享环境之间的互动,仍属未解决的研究问题。
- 真实地点:无法精确还原真实世界的地理细节。
- 文字渲染:清晰文字基本只在你写进世界描述时才会出现。
- 时长:为分钟级连续交互设计,不是为长时间会话准备的。
- 音频精度:实时音频的准确性「仍是持续研究和改进的领域」。
成本是另一道暗门。上一代Genie 3在产品端被硬性限制为60秒,原因并不神秘:自回归模型每一帧都要占用大量专属算力,会话越长成本越高,Google当时的判断是延长时长「增加的测试价值有限,但算力成本显著上升」。Genie 4的消费级入口仍将通过Project Genie提供,面向每月99.99美元起的Google AI Ultra订阅用户,开发者通道经由Gemini API和AI Studio分阶段开放,目前有候补名单,尚无确切日期和定价。
它最先落地在哪:不是游戏,是「彩排」
短期内最被看好的场景并不是直接取代游戏,而是原型与训练。早期测试者的用法已经很说明问题:导演在正式开机前「走进」场景反复跑不同机位和光线方案;新闻与历史工作者把一张档案照片变成可漫游的现场;游戏团队在写第一行引擎代码之前先玩到可交互原型;DeepMind自己则演示了让Gemini 4 Argon向Genie 4逐步下达指令,模拟Apptronik的Apollo人形机器人下棋——先在想象的世界里彩排,再到现实里执行。Google的Waymo团队此前也被报道用Genie 3练习极端路况。
一个诚实的总结是:如果把「取代Unity/Unreal」当成世界模型的成败标准,那它现在连及格线都摸不到;但如果把它理解为「给智能体和机器人造无限训练场」或者「把创意原型的摩擦力降到零」,Genie 4这一步走得相当扎实。两分钟的世界很短,但两年前它只有十秒。
接下来值得盯住三个信号:Gemini API上Genie 4的正式定价(这会直接暴露实时世界模型的真实算力成本)、消费级开放的节奏、以及「混合架构」(语言模型规划 + 生成模型渲染)是否成为全行业共识——Runway的技术博客里其实已经能看到同一条思路的影子。
参考来源:
- Google DeepMind:Genie 4: A new generation of world simulation
- Google Blog:Introducing Genie 4
- Ars Technica:DeepMind unveils Genie 4 world model
- TechCrunch:Google's Genie 4 world model adds audio, more realistic worlds and real-time steering
- Runway Research:Introducing GWM Worlds 2
- Latent Space:Runway's WorldPrompt and the Engineering of Real-Time Worlds
- Google Blog:Project Genie(Genie 3 产品化与60秒限制)
- Google DeepMind:Genie 3: A new frontier for world models
- heise online:Google Genie 4 makes interactive 3D environments more realistic