AI 编程实时动态与要闻

SolarRenderer 突破结构化视频生成:4 步去噪极速渲染灰模与深度图,768p 实时流式合成高保真世界

来自新加坡国立大学(NUS)、香港中文大学(深圳)等机构的研究团队在 arXiv:2610.28630 正式发布视频生成渲染框架 SolarRenderer。针对当前 3D 游戏引擎灰模、姿态骨骼、深度图与点云难以极速转化为高保真视觉视频的难题,SolarRenderer 基于冻结的 MiniMax-H3 33B 基础视频模型,引入轻量化控制 LoRA 与 4 步生成 LoRA。利用结构引导分布匹配算法,仅需 4 步去噪即可完成高质量渲染(比传统 50 步采样提速 12.3 倍),并提出块因果(Block-Causal)变体,成功实现 768p 高清视频的毫秒级实时流式生成,为下一代神经游戏引擎与虚拟制片树立了全新标杆。

SolarRenderer 突破结构化视频生成:4 步去噪极速渲染灰模与深度图,768p 实时流式合成高保真世界

核心要点速览

  • SolarRenderer(arXiv:2610.28630)发布,实现基于粗糙 3D 几何(灰模、骨骼、深度、网格)的高保真视频极速渲染
  • 冻结 MiniMax-H3 33B 视频底座,仅微调轻量 Control LoRA 与 4-step LoRA,保持基座生成能力的同时强化几何控制
  • 仅需 4 步去噪采样即可完成高保真视频渲染,生成速度较传统 50 步扩散采样提速惊人的 12.3 倍
  • 研发块因果(Block-Causal)注意力流式架构,在工业级 GPU 上实现 768p 分辨率视频实时连续生成
阅读全文
关联模型 / 智能体 / 厂商:
⚡ MiniMax-H3⚡ SolarRenderer

VAST 开源实时生成式渲染模型 EdenLive:5B/14B 权重全放出,单张 RTX 5090 跑 720P 约 24.7 FPS

VAST(Tripo 母公司)在 GitHub 和 Hugging Face 开源 EdenLive:游戏引擎或编程智能体负责规则和世界状态,输出粗糙的参考视频,EdenLive 再按目标首帧和文本提示实时渲染成精细画面。官方放出 5B 与 14B 两档、双向与少步自回归两种权重,以及实时流式推理代码和「一句话生成可玩游戏原型」的 skill。官方口径:项目页演示超过 24 FPS、分钟级连续生成、480P/720P;借助 LightX2V,5B 在单张 RTX 5090 上 1280×704 约 24.7 FPS。

VAST 开源实时生成式渲染模型 EdenLive:5B/14B 权重全放出,单张 RTX 5090 跑 720P 约 24.7 FPS

核心要点速览

  • 思路是把「状态」和「画面」拆开:上游程序/引擎维护规则与世界状态,EdenLive 只负责把参考视频渲染成精细画面。
  • 开源内容:5B 与 14B 权重(双向 + 少步 chunk-AR 两种模式)、实时流式推理代码、game-prototype-turbo skill 和前端工作台。
  • 官方口径:超过 24 FPS、分钟级连续生成、480P/720P 输出;LightX2V 加速下 5B 在单张 RTX 5090 上 1280×704 约 24.7 FPS。
  • 底座为 Wan2.1-I2V-14B(480p)与 Wan2.2-TI2V-5B(720p),全部权重约 210 GB,官方验证环境是 80 GB 显存 NVIDIA GPU + CUDA 13。
  • 许可要注意:自有代码 Apache 2.0,但工作台首帧用的 FLUX.2 [klein] 9B 为非商用许可,DINOv3 编码器另有许可。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ EdenLive⚡ Wan2.1⚡ Wan2.2⚡ FLUX.2 klein🤖 Claude Code🌐 VAST🌐 Tripo🌐 LightX2V

昆仑万维 Skywork 开源 Matrix-Game 4.0:游戏引擎管状态、5B 因果视频模型实时渲染,单卡可玩的「神经渲染」游戏

Skywork AI(昆仑万维)于 2026-10-15 开源 Matrix-Game 4.0:把世界状态、物理与规则交给可执行游戏引擎,引擎只输出低模 RGB 代理画面,再由基于 Wan2.2-Fun-5B-Control 的 5B 因果视频模型以 1–2 步去噪流式重渲染成成品画面。GitHub 已放出推理代码、浏览器 WebRTC Demo 与游戏源码(Apache-2.0),Hugging Face 提供城堡、古埃及、城市赛车三套场景权重。官方宣称 RTX 5090 上 480p/60 FPS、端到端 112ms;仓库自测 A100 上约 38–39 FPS。训练代码与数据未开源。

核心要点速览

  • 规模:每个场景 checkpoint 5,001,016,512 个 BF16 参数,底座 alibaba-pai/Wan2.2-Fun-5B-Control,输出 480×864(HF 模型卡)
  • 官方宣称(RTX 5090):480p 60 FPS、端到端响应 112ms、生成峰值 83.4 FPS;仓库 A100-80GB 实测:城堡/古埃及固定 prompt 约 38–39 FPS,赛车动态 prompt 约 28.9 FPS(v4 README)
  • 推理配置:realtime 预设为 TAEHV 编解码 + 单步去噪 + CUDA Graph;quality 预设为 Wan VAE + 两步去噪;注意力缓存 21 个 latent(含 sink),每块 4 帧
  • 许可:代码与场景权重 Apache-2.0;训练代码与训练数据未包含,权重需配套推理源码,非 Diffusers 即插即用
  • 定位:「Harness」范式——引擎维护世界状态与规则,Coding Agent 把自然语言改写成新规则与 prompt,视频模型只负责渲染
阅读全文
关联模型 / 智能体 / 厂商:
⚡ matrix-game-4.0⚡ wan2.2-fun-5b-control🌐 skywork🌐 kunlun-tech🌐 huggingface