商汤开源 SenseNova-Loop-9B-Preview：9B 循环 Transformer 跑出约 14.6B 的推理深度，主打长上下文与 Agent 工作流

核心背景与行业痛点

小模型想做好长链路 Agent 任务，常见办法是堆参数或换 MoE，但显存和部署成本随之上涨。另一条路是“循环 Transformer”：让同一组层多跑几遍，用更多计算深度换能力，而不增加存储参数。学术界此前有不少循环模型论文，但能直接拿来跑 Agent 工作流的开源权重不多。商汤 10 月 30 日开源的 SenseNova-Loop-9B-Preview 就是把这个思路做成了可部署的多模态模型，定位是长上下文、文档理解、写代码和调用外部工具。

架构亮点与底层机制

模型有 32 个不同的解码层：先过第 0–3 层，再把第 4–27 层这一整块用同一套权重连跑两遍，最后过第 28–31 层和输出头，每次前向共 56 层计算，但只存 32 层权重，官方给出约 9B 存储参数、约 14.6B 推理参数。循环区内用两路 mHC（流形约束超连接）承载残差流，用 20 次 Sinkhorn 归一化约束流间混合。注意力为混合式，每 4 层里 3 层线性注意力加 1 层全注意力，循环边界与 4 层分组对齐。

权威 Benchmark 与实测跑分对比

以下均为商汤官方图表口径，尚无第三方复现，技术报告也未发布。领先项：BIRD-Dev 71.38（Qwen3.5-27B 69.84）、WorkBuddy Bench 66.89（Qwen3.6-35B-A3B 61.98）、AIDABench 58.87（57.19）、TeamBench 48.89（44.44）、AutomationBench 13.72（10.17）。落后项：Terminal Bench 2.1 为 40.45，低于 Qwen3.6-27B 的 47.19；τ³-Banking 18.56，略低于 Qwen3.5-27B 的 19.59。RaccoonPPTBench 70.70 是商汤内部评测集。

开发者实战落地与开箱指南

权重在 Hugging Face，Apache 2.0。官方验证环境是 Transformers 5.18.0 加 PyTorch 2.11（CUDA 13.0），加载时需 trust_remote_code=True，enable_thinking=True 可开思考模式。服务端可用 LightLLM（官方示例 4 卡）或带 PR 47281 的 SGLang 分支；微调脚本在 OpenSenseNova/torchtitan。注意这是 Preview 版，自定义模型代码意味着要先审一遍再跑，生产使用前建议在自己的 Agent 任务上实测。