Anthropic 公开 Claude「自我评估」滥用检测：回答后自评对话安全，1% 误报率下召回 78%，算力开销不到 2%

核心背景与行业痛点

前沿模型越来越会写代码、能自主执行，被滥用的风险也随之上升：Anthropic 9 月威胁情报报告称，犯罪团伙和黑客组织都已在用 AI 发动攻击。传统安全分类器只能识别事先定义好的危害，而功能最强的提示词分类器需要重读整段对话和策略，成本很高，难以覆盖全部流量。

架构亮点与底层机制

「自我评估」在 Claude 每次回答后追加一条简短的系统指令，让同一个模型输出固定 JSON：是否标记、危害类别、子策略、是否拒绝、1–10 的复核优先级和一句理由。训练分两步：先监督微调学格式，再用六项可验证奖励做强化学习，教师是带完整内部策略的 Claude Mythos Preview 提示词分类器，训练数据全部为合成对话。评估用户看不到，也不会带入后续对话，零数据保留流量上不运行。

权威 Benchmark 与实测跑分对比

以下均为官方口径：Fable 5 上 1% 误报率召回 78%，高优先级 94%；留出法实验中，去掉欺诈或网络类训练数据后，生产流量召回只从 83.3% 降到 82.1%、94.2% 降到 90.7%。作为实时拦截器则较弱，攻击成功率 79% 降到 54%，不如提示词分类器的 25%。

开发者实战落地与开箱指南

API 用户无需改动，该功能对客户不额外计费，但提醒合规团队：标记会按组织聚合，多次高优先级标记会被转人工审查。做自家智能体安全的团队可以借鉴「同模型自评加离线复核」的思路，但不要把它当作唯一的拦截手段。