CMU Infini-AI 连发 CompressionBench / ServerBench：编码 Agent 自主压模型与设计推理服务；Sonnet 5.5 达 vLLM 约 4.87×「美元/美元」

核心背景与行业痛点

编码 Agent 已能修仓库、跑实验，但「为自己压模型、为自己搭推理服务」仍缺可复现评测。CMU Infini-AI Lab 于 2026 年 11 月 4 日在 arXiv 连发 CompressionBench 与 ServerBench：前者测 Agent 能否在存储与时限内交付可执行压缩模型，后者测能否设计通过延迟与正确性验证的完整服务系统。

架构亮点与底层机制

CompressionBench 把压缩做成终端任务：给定源权重、包体/常驻存储上限、GPU 与时长，Agent 自选量化/剪枝/蒸馏并实现推理代码；搜索期用完整模型困惑度反馈，截止后独立容器验证似然、生成准确率（需保留 BF16 的 80%）与存储。ServerBench 从最小 Transformers 服务起步，用 AgentX 状态化回放真实编码会话；目标「美元/美元」= 同时满足 TTFT/TPOT 目标的 token 价值除以 GPU 美元成本，提交含实现与会话并发度。

权威 Benchmark 与实测跑分对比

以下均为论文表格口径，非 AICoder 复测。CompressionBench：六款 Agent（含 Sonnet 5.5、Opus 5.5、GLM 5.3、Kimi K3.1、MiniMax M3.1、DeepSeek V4.1）× 六组模型/限额，36 次提交 29 次通过；每任务取最低 PPL 设计，平均较 BF16 高约 3.4% PPL，下游均分约 77.33%（BF16 复测约 79.56%）。ServerBench：11 模型 × 三部署，33 次运行 22 次验证通过、13 次超过最强基线；Claude Sonnet 5.5 在 Gemma E4B（1×L40）达 2.97「美元/美元」，约为 vLLM 参考的 4.87 倍；Opus 5.5 在 Qwen3.5 9B 达 4.40。

开发者实战落地与开箱指南

论文与代码：arxiv.org/abs/2611.06858、arxiv.org/abs/2611.06841，以及 github.com/Infini-AI-Lab/Compression-Bench、Server-Bench；博客见 infini-ai-lab.github.io。可用于对比 Agent 在「压模型」与「搭服务」上的实验判断力，而非只看静态答对率。注意：分数依赖论文给定硬件、时长与工作负载回放，跨环境不可直接外推；部分失败来自生成回归或未覆盖的执行路径。