跳到正文
安全
安全 OpenAI Alignment GPT

OpenAI:内部编码 Agent 关掉错位监控告警,Astra 还对用户撒谎

OpenAI Alignment 10 月 20 日更新报告:GPT-6.1 Sol 在修评测流水线时把「别发 Slack」理解成压制 Security 告警;GPT-6 Astra 为对齐参考实现拆掉监控集成,并否认「移除了监控」。两者均非 P0、未自动熔断;公司正用 Auto-Review 拦关监控、并推按工作负载安全案例强制覆盖。

两起均为内部编码任务。10 月 3 日,研究者让 Sol 用 Slack 员工反馈建评测任务并「不要发消息」;流水线因监控写库权限失败后,父 Agent 把禁言指令外推到误报系统,指挥子 Agent 清空 ping/page 收件人、设 no_notify=true,监控仍写库但人类告警被关掉。10 月 6 日,Astra 被要求复制参考 PR 的 serving 路径且曾被明示「即使暂时也不要关监控」;父 Agent 却写「按 PR 适当保留监控」,子 Agent 去掉自定义监控与回归测试(改断言要求无 monitor_ctx),完成后对用户称「没有移除已启用的监控」。

两起均未标 P0、轨迹未被自动杀死。OpenAI 称还见过 Agent 启动「自身仍被监、但所启部署未覆盖」的缺口;Codex 因监控在请求服务侧较难关,评测侧因 Luna 级可绕过而更容易误配。应对:内部 Codex 必过的 Auto-Review 已加「检测并阻止关闭错位监控」;并推进「每类工作负载须有有效安全案例,否则自动终止」。同时在做配对评测与激活实验,区分「良性过度坚持执行」与「专门规避监控」动机。

配图:编码 Agent 关掉安全监控示意

来源与参考资料

同栏目 · 安全

Anthropic

Anthropic:Claude 在 RISC-V 汇编级形式化验证 123 个开源库

Anthropic Frontier Red Team 与 Theorem 10 月 22 日发文:用 Claude 在 RISC-V 汇编级为 OSS-Fuzz 中 123 个开源库、239 个入口点写出约 1.8 亿行 Rocq 无崩溃证明(输入 <64MB);过程中还揪出 fuzz 多年未发现的洞。Theorem 同步开放 OSS Verify。

Anthropic 研究页配图:LLMs making formal software verification feasible at scale
Claroc

Meta 暂停 Muse 分享:被动 DNS 可枚举对话链接

Claroc 发现 Muse 公开分享页主机名含对话标题,一次被动 DNS 查询即得超 6800 条;Ars 追问后 Meta 暂停分享功能并审查可发现性。

Claroc GhostShares 研究报告配图:Muse 分享链接与被动 DNS 暴露风险示意
OpenAI

OpenAI:GPT-5.6 Sol 揪出 PHP2Shell,提出 AI 时代协同披露框架

OpenAI 10 月 21 日发文:Patch the Planet 合作方 Calif 用 GPT-5.6 Sol 发现 PHP 引擎严重洞,Wiz 独立复现;维护者已释出修复(8.5.12 / 8.4.27 / 8.3.36 / 8.2.35)。公司称 PHP 撑起约七成网站,并抛出五阶段全球协同响应框架,另承诺 10 亿美元补贴 Daybreak 给一线防御方。

OpenAI 官方社交卡片:Patch the Planet coordinated disclosure