Anthropic Messages API 推出 message threads 公测：服务端暂存对话、每轮只发新消息，Claude Code 百万 token 请求首 token 延迟降约 35%

核心背景与行业痛点

长时间运行的 Agent 每轮都要把整段对话重新上传，API 也要把全部内容重新校验、分词。对话涨到几十万 token 时，请求体动辄数百 KB，首 token 延迟越拖越长。Anthropic 11 月 2 日把 message threads 以公测形式加入 Messages API，专门解决这个问题。

架构亮点与底层机制

首个请求照常发送完整对话、system 和 tools，并加上 "thread": {"type": "create"}；API 以回复 id 存下对话。之后的请求用 "type": "continue" 加 previous_message_id，只发新消息，不能再带 system 和 tools。线程只追加、每个 id 只能续一次；model、thinking 等固定字段变了会报 thread_fingerprint_mismatch。线程加密存于内存、不落盘，空闲 5 分钟过期、最迟 1 小时删除。它不替你做 prompt 缓存，缓存断点仍需自己设置，最多 4 个。

权威 Benchmark 与实测跑分对比

以下为官方口径：Claude Code 已对多数用户默认启用，500K–1M token 请求的首 token 延迟中位数降低约 35%；长对话中请求体中位数从约 800 KB 降到 1.8 KB。暂无第三方独立复测。

开发者实战落地与开箱指南

请求加 beta 头 message-threads-2026-08-12 和 thread 参数即可；Python、TypeScript 等 SDK 提供 client.beta.messages.thread 助手，会自动续接，遇到 404 时自动重放。应用本地仍要保留完整对话副本。价格和限速不变，但 Message Batches、token 计数、按需压缩不支持，开启 HIPAA 或 Inference hooks 的组织不能用。