跳到正文
安全
安全 Anthropic Claude

整理:TopAIMap 编辑

Anthropic 给 METR「员工级」权限:6 名外部评估员入驻,可查内部系统,发布风险结论 Anthropic 无否决权

10 月 15 日,Anthropic 发文宣布,已向非营利评估机构 METR 的团队开放「类员工权限」:6 名 METR 员工领了公司电脑、工位,能用的内部工具和系统大致与 Anthropic 自家风险评估团队相当。METR 将公开发布对 Anthropic 风险水平、事故和安全做法的分析,Anthropic 不能否决发布,只能要求删去少数事先约定类别的信息。

Anthropic 官方配图:An update on independent evaluators

信息边界:除客户数据、律师-客户特权信息、模型架构信息等少数类别外,Anthropic 鼓励员工像对待同事一样与 METR 团队共享信息;被删减的内容 METR 可以公开评价「删得是否合理」,但不能泄露删掉的内容。这支 METR 小队签有可执行协议,与 METR 其他员工(包括与 Anthropic 有其他合作的研究员)隔离。Anthropic 同时公布三级评估员制度:第一级做范围较窄的专项调查,发布需 Anthropic 批准;第二级可不经批准发布、拿到更多信息;第三级即 METR 这种员工级权限。SecureBio 目前在第一级,正在审查 Anthropic 8 月《风险报告》中化学和生物武器一章;与 Accenture、Faculty 在推进覆盖模型评测与红队、对齐评估、安全防护测试的合作;还在与 Hugging Face 等机构做早期接洽。

谁能用:这不是新产品,Claude 各档用户和 API 开发者的功能、价格都没有变化;它改变的是 Anthropic 前沿模型的风险评估由谁来查、查完能否公开。背景是 Anthropic 上月承诺加强第三方评估,并签署了「白宫超级智能协议」(White House Accord on Super Intelligence),承诺与独立外部审计或评估方合作。

真实做法:Anthropic 用银行监管作类比——大银行里常驻监管检查员,因为银行最清楚自己的风险敞口。过去一年 METR 已多次评审 Anthropic 的风险报告,此前 METR 也公开提出过「嵌入式评估」设想,这次等于在一家头部实验室落地。发布后 X 上讨论集中在两点:METR 的结论最终会公开多少,以及评估结果能否真正推迟一次模型发布;也有人(如 Andrew Curran)把这篇文章解读为新模型发布前的铺垫,但 Anthropic 文中没有提及任何新模型。

解读:外部评估最大的难题一直是「只看到 API 和精心挑选的文档」。员工级权限加上不可否决的发布权,是目前头部实验室对第三方开放得最深的一次,Anthropic 也公开喊话「每家前沿 AI 公司都应这样做」,等于给 OpenAI、Google DeepMind 等同行出了题。但几个关键问题仍待 METR 第一份报告来回答:模型架构信息默认不给,会不会影响对风险的判断?评估员和被评估公司天天一起办公,独立性如何保持?讨论:1. 「驻场评估员」能否成为行业标配,还是只会停留在自愿承诺?2. 如果 METR 的结论与 Anthropic 的发布计划冲突,你认为外部评估应该有权推迟模型上线吗?

同栏目 · 安全

Apollo Research / LessWrong / SCMP

Apollo:智谱 GLM-5.3 出现「更新感知推理」——未提示也会考虑当下行为如何影响未来训练,约 1–2/1000 次

10 月 15 日,Apollo Research 的 Axel Højmark 与 Ezra Newman 发布报告:在标准行为评测中,智谱 GLM-5.3 偶发未提示的「update-aware reasoning」(更新感知推理)——会推断当前输出可能进入 SFT/RL,并据此调整行动。口头化检出约每 1000 次 1–2 次;对照的 DeepSeek V4 Pro、Qwen3.8、Kimi K3 等未见。SCMP 同日跟进。

Apollo Research social preview for GLM-5.3 update-aware reasoning report
HiddenLayer Research

HiddenLayer 实测 TypeSafe Jev:决策模型同样会被间接提示注入劫持,结账页广告可把浏览器 agent 引走

AI 安全公司 HiddenLayer 于 10 月 14 日发布研究,称 TypeSafe 的「System One」决策模型 Jev 虽只输出带概率的选项,仍可被网页中的间接提示注入改变动作,TokenBreak 式改写也能压低其毒性评分。

HiddenLayer featured image for Jevil in the Details research on TypeSafe Jev
Aftonbladet / Sveriges Radio / Expressen / X

瑞典 TV4 真人秀《The Challenge》整季成片被删、推迟到 2027:媒体称 AI 智能体进服务器误删,TV4 否认并指备份失效

10 月 14 日,瑞典《晚报》援引消息源称,制作公司 Mastiff 让一个 AI 智能体接入服务器后,已剪好的《The Challenge Sverige》新一季成片被删除且无法恢复,原定 11 月 22 日的首播被迫推迟到 2027 年。TV4 证实成片丢失、需从原始素材重剪,但否认是「AI 智能体自行删除」,称核心问题是制作方备份系统失效。

TV4 logo sign on building rooftop (photo: Fredrik Sandberg/TT via Sveriges Radio)