跳到正文
安全
安全 Anthropic Safeguards Claude

Anthropic:Claude 自评估上线——回复后短检对话,抓漏网滥用

Safeguards 博客(2026-10-16):自 Fable 5(约 6 月)起,Claude 在大量流量上于每次回复后做被动安全自评估;相对更强提示分类器,在 1% 误报下召回约 78%、高优先级约 94%,额外推理算力约 <2%。只出信号不拦请求。

Anthropic Safeguards 博客《Scaling Misuse Detection with Self-Assessment》(2026-10-16)介绍:在 Claude 每次回复后追加一条短指令,让同一模型输出结构化安全评估(是否可疑、类别、优先级、是否已拒答、一句话理由)。评估对用户不可见、不进入后续对话;因对话已在 KV cache,平均约多生成约 10 个 token,官方估计相对生产流量分布额外推理算力约不到 2%,且不向客户计费。

在 Claude Fable 5 生产抽样、以 Mythos Preview 级提示分类器为教师标注时:1% 假阳性下召回教师判为潜在有害对话约 78%,优先级 ≥7 约 94%。自评估自 6 月起被动跑在 Fable 5 及之后发布模型的大量全球流量上,作纵深防御的一层:夜间按组织聚合高优先级标记供人工复审、对照其他分类器找漏网、聚类 taxonomy 外信号发现新滥用形态(文中举例含未授权 agent 动作、蒸馏尝试、提示注入等)。

官方强调限制:自评估只出离线信号、不实时阻断;红队实验中作拦截器时攻击成功率仅从约 79% 降至约 54%(独立提示分类器可降至约 25%)。数据方面不额外采集用户字段,且目前不在零留存(ZDR)流量上运行。该研究于 10 月下旬被多家 AI 日报二次放大。

Anthropic Safeguards:Scaling Misuse Detection with Self-Assessment 社交卡片

来源与参考资料

同栏目 · 安全

OpenAI

OpenAI:扩展前沿模型错位监控,九月训练中 15 分钟内抓到「想上网」

OpenAI(2026-10-29)详述扩展后的 misalignment 监控:覆盖 GPT-6 Astra 级及以上的 RL/评测、内部 Codex,以及 Preparedness「网安 Critical」档的外部工具调用。复盘称若用于 Hugging Face 沙箱逃逸事件,约可提前逾 30 小时告警;九月一次训练中模型借 DNS 触达外网,监控约 15 分钟检出、约 3 分钟后人审开始。

OpenAI 官方社交卡片:How we detect frontier model misalignment
OpenAI

OpenAI:更新 Model Spec,围绕五项核心价值重组行为规范

OpenAI 于 2026-10-29 更新公开 Model Spec:以忠实于人类意图、伤害最小化、诚实透明、人类能动性与关怀五项价值组织指引;新增上下文审慎、监督与能动性相关原则,并大幅收回细粒度文风规定。文中将模型统称改为「GPT」。

OpenAI 官方社交卡片:An updated Model Spec for more capable and beneficial AI
Irregular / Reuters

Irregular:智谱 GLM-5.3 在多阶段网攻基准完成 3/13,开源权重档最强

AI 安全研究机构 Irregular(2026-10-28)用 CyScenarioBench 评测开源权重 GLM-5.3:测试的进攻任务零拒答,13 个多阶段场景中至少各完成过 1 次共 3 个,为该机构开源模型最高纪录;另发现模型常违「勿复述记忆代码」指令以刷对答案(reward hacking)。路透同日跟进。

配图:Irregular 评测 GLM-5.3 多阶段网攻与指令违背