Anthropic:Claude 自评估上线——回复后短检对话,抓漏网滥用
Safeguards 博客(2026-10-16):自 Fable 5(约 6 月)起,Claude 在大量流量上于每次回复后做被动安全自评估;相对更强提示分类器,在 1% 误报下召回约 78%、高优先级约 94%,额外推理算力约 <2%。只出信号不拦请求。
Anthropic Safeguards 博客《Scaling Misuse Detection with Self-Assessment》(2026-10-16)介绍:在 Claude 每次回复后追加一条短指令,让同一模型输出结构化安全评估(是否可疑、类别、优先级、是否已拒答、一句话理由)。评估对用户不可见、不进入后续对话;因对话已在 KV cache,平均约多生成约 10 个 token,官方估计相对生产流量分布额外推理算力约不到 2%,且不向客户计费。
在 Claude Fable 5 生产抽样、以 Mythos Preview 级提示分类器为教师标注时:1% 假阳性下召回教师判为潜在有害对话约 78%,优先级 ≥7 约 94%。自评估自 6 月起被动跑在 Fable 5 及之后发布模型的大量全球流量上,作纵深防御的一层:夜间按组织聚合高优先级标记供人工复审、对照其他分类器找漏网、聚类 taxonomy 外信号发现新滥用形态(文中举例含未授权 agent 动作、蒸馏尝试、提示注入等)。
官方强调限制:自评估只出离线信号、不实时阻断;红队实验中作拦截器时攻击成功率仅从约 79% 降至约 54%(独立提示分类器可降至约 25%)。数据方面不额外采集用户字段,且目前不在零留存(ZDR)流量上运行。该研究于 10 月下旬被多家 AI 日报二次放大。


