4D/3D 视觉与自回归视频扩散加速突破：Gen4P 单次前馈 4D 感知、SUPRA-TEX 超对齐材质生成与港科大 ForcingBooster 削减 50% 去噪计算

核心背景与行业痛点

当前 3D/4D 视觉理解与实时交互视频生成受困于三大工程瓶颈：第一，在大规模生成数据上预训练的视频扩散模型虽蕴含丰富的时空几何先验，但将其用于 4D 点云重建与 3D 轨迹追踪时，传统多步去噪管线极慢且难以直接输出高精度度量几何；第二，现有 3D 资产材质生成（如 TRELLIS.2、Hunyuan3D 2.1）在多视角重投影或原生 3D 生成时常出现纹理接缝、模糊或几何-纹理错位；第三，自回归实时视频扩散（如 Causal Forcing、Wan2.1）对每一帧的所有图像块（Patch）均匀执行 4 步去噪，在静态背景区域浪费了海量算力。Gen4P（arXiv:2610.22371）、华中科技大学与华为联合研发的 SUPRA-TEX（arXiv:2610.22352） 以及香港科技大学提出的 ForcingBooster（arXiv:2610.12625） 分别攻克了上述难题。

架构亮点与底层机制

1. Gen4P：无需迭代去噪的单次前馈连续时间 4D 感知器（arXiv:2610.22371）：

• 摒弃缓慢的多步扩散采样，将预训练视频生成器重构为单次前馈（Single-Pass Feed-Forward）架构。通过引入连续时间按需查询机制（Continuous-Time On-Demand Queries）实现空间-时间特征解耦，并挂载冻结的视频深度 LoRA（Frozen Video-Depth LoRA）显式唤醒扩散隐空间中的三维度量几何先验，单次前向传播即可完成任意长序列 4D 重建与 3D 点追踪。

1. SUPRA-TEX：只读几何隐空间锚定与交错流 Transformer 材质补全（arXiv:2610.22352）：

• 将 3D 纹理生成解耦为三步：首先利用微调的多模态大模型（MLLM）从参考图中分离环境光照、直接估算物理渲染（PBR）贴图；随后将可见表面属性直接重投影至原生 3D VAE 隐空间作为只读几何锚点（Read-Only Anchors）；最后通过交错流匹配 Transformer（Interleaved Flow Transformer）协同全局图像注意力与局部 3D 拓扑补全不可见区域。

1. ForcingBooster：块级自适应时间步截断加速自回归视频扩散（arXiv:2610.12625）：

• 针对自回归视频生成中不同空间区域的帧间运动差异，引入轻量级块级退出门控（Patch-Wise Early Stopping）：静态或简单纹理 Patch 在早期去噪步即提前完成并退出计算，仅对高频动态前景 Patch 执行完整 4 步精炼。

权威 Benchmark 与实测跑分对比

• Gen4P (WorldTrack 3D 点追踪权威基准)：在 ADT、Dynamic Replica (DR) 与 Panoptic Studio 上，Gen4P (Ours-II) 的 APD ↑ / EPE ↓ 分别达到 91.93 / 0.112、88.18 / 0.130（动态物体达 92.52 / 0.090）与 82.11 / 0.149，全面超越 MonST3R、STv2、St4RTrack、Any4D 与 OpenD4RT。
• SUPRA-TEX (DTC-Tex 3D PBR 材质生成基准)：在 Shaded PBR 指标上斩获 32.08 dB 全图 PSNR、23.67 dB 前景 PSNR、0.042 LPIPS 与 16.31 FD_DINOv3，显著击败 Pixal3D（29.19 dB）、TRELLIS.2（28.60 dB）、LumiTex（28.29 dB）与 Hunyuan3D 2.1（26.80 dB）。
• ForcingBooster (VBench 自回归视频生成加速)：在 Causal Forcing 上削减 50.19% 的块级去噪函数评估次数（Patch NFE），包含 VAE 解码在内的端到端生成耗时从 11.15s 降至 8.56s（1.30x 加速），同时保持 VBench 语义得分完全无损（72.20 vs 原版 4 步基线 72.21），并已兼容 Wan2.1 14B、LingBot-World-V2 与 LongLive。

开发者实战落地与开箱指南

三项工作均已开源代码仓库（yitongx/Gen4P、Supra-3D/SUPRA-Tex、IGL-HKUST/ForcingBooster）：

• 构建交互式世界模型或实时云渲染引擎的团队，可将 ForcingBooster 的块级动态步数分配插件直接集成至 Wan2.1 14B 或 LongLive 推理管线，立省一半 DiT 块算力；
• 3D 游戏资产管线可利用 SUPRA-TEX 的只读隐空间重投影机制，解决正面角色贴图在 3D 化时的五官偏移与高光烘焙污染问题。