昆仑万维 Skywork 开源 Matrix-Game 4.0：游戏引擎管状态、5B 因果视频模型实时渲染，单卡可玩的「神经渲染」游戏

核心背景与行业痛点

过去一年的「可交互世界模型」大多只做逐帧像素外推：世界状态藏在隐变量里，物体一离开视野就可能消失，游戏规则也要从每一帧重新"猜"。这让它们适合做演示视频，却很难成为能稳定游玩、能改玩法的游戏。Matrix-Game 4.0 的思路是不再让视频模型兼任物理引擎。

架构亮点与底层机制

官方称之为 Harness：可执行游戏引擎（C++20/SDL2）负责状态、物理与输入，只渲染廉价的低模 RGB 代理画面；视频模型只负责"上色"。渲染器基于 Wan2.2-Fun-5B-Control，每个场景约 50 亿 BF16 参数，因果 DiT 蒸馏到 1–2 步去噪，每步生成 1 个 latent（4 帧），并用含 sink 的 21-latent 滚动 KV 缓存保持外观一致。Coding Agent 负责把玩家的自然语言需求写成新规则并注册进引擎，因此"换玩法改代码，不必重训模型"。需要注意：README 写明，射击场景当前发布配置使用固定 prompt，暂不含检索式空间记忆与动态 prompt；只有赛车场景支持逐块动态描述。

权威 Benchmark 与实测跑分对比

官方推文给出的是 RTX 5090 数据：480p 60 FPS、端到端 112ms、生成峰值 83.4 FPS。仓库 README 自测则基于单张 A100-80GB（864×480、单步去噪、CUDA Graph）：城堡/古埃及约 38–39 FPS，赛车固定 prompt 约 38.5 FPS、动态 prompt 约 28.9 FPS，且明确说明这不是浏览器端帧率，也不是按键到画面的延迟。目前没有第三方评测，项目论文仍标注"即将发布"，消费级显卡的数字请以自测为准。

开发者实战落地与开箱指南

在 Linux + NVIDIA GPU + Python 3.12 下 git clone 后进入 Matrix-Game-4/，按 README 安装 PyTorch 2.12/CUDA 13.2，用 matrix-game download 按固定 Hub revision 拉取单个场景（会校验 SHA256）。matrix-game render --preset realtime 可离线渲染低模录像；scripts/serve.sh 加 MediaMTX 可起单用户 WebRTC 浏览器 Demo；RTX 5090 可选 rtx5090 FP8 预设。不加载模型也能用 scripts/play.sh 直接玩、录制或让 Coding Agent 改地形和 NPC 规则。Demo 默认只绑定回环地址，官方提醒不要直接暴露到公网。