ScaleDown 10 月 13 日推出约束解码模型(CDM):每个模型只为一个任务训练,只输出该任务允许的答案(标签或原文片段),不逐 token 自由生成。LangChain 同日发布 langchain-scaledown 集成与 LangSmith LLM Gateway 支持,提供历史摘要、工具结果压缩、结构化抽取三类中间件。厂商口径:在这些窄任务上比前沿模型快 200 倍、便宜 467 倍;Extract 与 Summarize 已上 OpenRouter,输入 $0.04/百万 token。

核心要点速览

  • ✓四款单任务模型 Summarize / Compress / Extract / Classify,输入上限均为 100 万 token,Extract、Summarize、Classify 可直接吃图片与扫描 PDF(LangChain 博客)
  • ✓厂商口径:对比 GPT-5.5 / GPT-5.4 Mini / GPT-5.4 Nano 均值,Summarize 便宜 41 倍、快 2.7 倍,Compress 便宜 138 倍、快 1.8 倍,且准确率更高(ScaleDown 基准)
  • ✓Classify 对标 Jev 决策模型:Jev 仅文本、每题 32K token 状态;Classify 支持 1M token 与图片,并给每个决策附一句理由
  • ✓LangChain 官方示例中工具压缩中间件把一页文档从 18,402 字符压到 3,110 字符;ScaleDown 调用失败时中间件保留原历史、Agent 继续运行
  • ✓OpenRouter 上 Extract / Summarize 输入 $0.04/百万 token、1M 上下文,Summarize 最多输出 4,000 token,二者均不支持 tools 与 response_format(OpenRouter)
ScaleDown 推出约束解码模型 CDM:1M 上下文专做摘要/压缩/抽取/分类,LangChain 同日接入 Deep Agents 中间件
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

长时间运行的 Agent 大部分开销并不在「写代码」,而在上下文管理:摘要旧历史、裁剪超长工具结果、从用户消息里抠出订单号和报错码。这些步骤几乎每轮都要做,过去都交给前沿大模型,既慢又贵,还可能把错误码「意译」走样。ScaleDown 推出的约束解码模型(CDM)就是专门接管这类高频窄任务的。

架构亮点与底层机制

通用 LLM 逐 token 写任意字符串;CDM 每个模型只为一个任务训练,只返回该任务允许的答案——你给定的标签之一,或输入原文中的片段,所以可以做得更小更快。目前四款:Summarize(摘要)、Compress(按问题裁剪上下文)、Extract(按自然语言描述抽字段,带置信度和原文位置)、Classify(对自定义标签给出概率,可附一句理由)。输入上限均为 100 万 token,Extract/Summarize/Classify 可直接处理图片和扫描 PDF。Classify 的 [/v1/scaledown 接口](https://docs.scaledown.ai/api-reference/decisions-overview)与 Jev Decisions API 请求格式兼容,换 base URL 即可迁移。

权威 Benchmark 与实测跑分对比

以下均为厂商口径:ScaleDown 称在窄任务上比前沿模型快 200 倍、便宜 467 倍;对比 GPT-5.5、GPT-5.4 Mini、GPT-5.4 Nano 均值,Summarize 便宜 41 倍、快 2.7 倍,Compress 便宜 138 倍、快 1.8 倍,准确率均更高(基准页)。LangChain 示例里一页文档被从 18,402 字符压到 3,110 字符。暂无第三方独立复测。

开发者实战落地与开箱指南

uv pip install -U langchain-scaledown(PyPI 0.2.0,MIT 开源),设置 SCALEDOWN_API_KEY 后,把 ScaledownSummarizationMiddleware 替换 Deep Agents 自带摘要,给 fetch_url 等工具挂 ScaledownToolCompressionMiddleware,用 ScaledownExtractionMiddleware 抽工单字段(LangChain 教程)。也可在 OpenRouter 直接调用,或走 LangSmith LLM Gateway 统一计费追踪。注意:写代码、规划等开放式生成仍应留给通用大模型。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读LangSmith SDK 0.14.1:按 Agent 寻址 run/feedback,沙箱委托登录,补齐 Claude SDK 与 OTel 追踪字段
立即阅读→