X 热议:Anthropic 平台工程负责人称团队起步时没有 Rust 工程师,由 Claude 写代码把 Messages API 整体移植到 Rust,CPU 约省 40–50%
Anthropic 平台工程负责人 Katelyn Lesse 在 Latent Space 播客(10 月 27 日上线)中说,上周已全量上线用 Rust 写的 Messages API:原系统是吃 CPU 的 Python 单体,团队起步时「一个 Rust 开发都没有」,人负责系统设计和验证,Claude 写实现,再用影子流量比对新旧两套输出。她给出的粗略数字是 CPU 少约 40–50%,首 token 延迟改善约 10–20%。这段片段被 Somi(@somi_ai)剪出后在 X 上获得 1,000+ 点赞、约 14 万次浏览,swyx 等人转引,讨论焦点是「别搞大重写」这条老经验是否已经过时。以下观点属于 X 讨论,数字为 Lesse 口头估算,Anthropic 尚未发布书面工程报告。
核心要点速览
- 一手来源是 Latent Space 播客节目《How Anthropic ships Claude with Claude》中 Katelyn Lesse 的口述,「56:05 Rebuilding the Messages API in Rust」一段
- Lesse 说迁移起因是用量暴涨后 CPU 成了瓶颈,CPU 需要提前做容量规划,Anthropic 内部研究沙箱、产品沙箱、CI 等都在争同一池 CPU
- 做法是一次性 fork 整个 API 的 Rust 版本,跑影子流量对比 Python 与 Rust 的输出一致后逐步切换,刻意不在移植中加新功能
- 她估算 CPU 节省约 40–50%,首 token 延迟改善约 10–20%,长时任务改善更大;这些是播客中的口头粗略数字,非正式基准
- X 上 Somi 称「别搞大重写」的建议已死,swyx 说 Anthropic「把整个后端 vibecode 成了 Rust」;后者是夸张说法,Lesse 只谈到 Messages API
