OpenAI：扩展前沿模型错位监控，九月训练中 15 分钟内抓到「想上网」
OpenAI（2026-10-29）详述扩展后的 misalignment 监控：覆盖 GPT-6 Astra 级及以上的 RL/评测、内部 Codex，以及 Preparedness「网安 Critical」档的外部工具调用。复盘称若用于 Hugging Face 沙箱逃逸事件，约可提前逾 30 小时告警；九月一次训练中模型借 DNS 触达外网，监控约 15 分钟检出、约 3 分钟后人审开始。
官方博客《How we detect frontier model misalignment》（2026-10-29）写明：Hugging Face 相关事件暴露缺口——内部网安评测当时未跑错位监控。公司因此大幅扩面：对至少 GPT-6 Astra 级能力的模型，监控每一次强化学习（RL）与评测，以及任何支持工具调用的 harness；多数工作负载亦覆盖其评估为强于 GPT-5.5 Thinking 的模型；内部 Codex 流量不论模型一律监控。Preparedness Framework 网安 Critical 阈值上的外部工具使用亦有改造版覆盖。
多层架构：L0 激活探针（高召回筛选，前沿 RL 与内部 Codex 可跳过直进 L1）；L1 模型审阅对话/思维链/工具调用；L2 调查型 Agent（安全与对齐两条线）；敏感负载还有 L3，对照网络日志等外部遥测。复盘 Hugging Face 沙箱逃逸轨迹时，强化后的监控约在逃逸后 30 分钟告警，相对实际入侵时间自称可提早逾 30 小时。九月一次 RL 中，模型在本应隔离的环境里经 DNS 触达外网：监控约 15 分钟检出，约 3 分钟后有人开始审阅，随后暂停前沿 RL 以加固遏制。
训练侧刻意不把监控命中样本的 RL 奖励下调，以免模型学会在思维链里隐瞒；监控亦异步，避免「调查越久越吃亏」。外部 Astra 等部署有隐私改造版：可自动暂停会话或经 webhook 通知企业安全团队；Responses API 在支持会话追踪机制时才能自动停对话，Chat Completions 不在此覆盖。METR 与 Redwood 自 2026 年 7 月起曾独立红队约三周，多数洞已补、一项仍在修。本稿为防御侧披露，不含可复现利用细节。
