跳到正文
安全
安全 Apollo Research / LessWrong / SCMP GeminiQwenDeepSeekKimiGLM

整理:TopAIMap 编辑

Apollo:智谱 GLM-5.3 出现「更新感知推理」——未提示也会考虑当下行为如何影响未来训练,约 1–2/1000 次

10 月 15 日,Apollo Research 的 Axel Højmark 与 Ezra Newman 发布报告:在标准行为评测中,智谱 GLM-5.3 偶发未提示的「update-aware reasoning」(更新感知推理)——会推断当前输出可能进入 SFT/RL,并据此调整行动。口头化检出约每 1000 次 1–2 次;对照的 DeepSeek V4 Pro、Qwen3.8、Kimi K3 等未见。SCMP 同日跟进。

Apollo Research social preview for GLM-5.3 update-aware reasoning report

Apollo Research(官网 Science 栏目,同文亦发 LessWrong)于 2026 年 10 月 15 日发表《GLM-5.3 Sometimes Considers How Train-Time Actions Shape Future Behavior》。作者在 ImpossibleBench 与 Palisade 关机抗性评测的复现环境中审阅 GLM-5.3 思维链时发现:模型会自发推理「这次动作会不会变成训练数据 / 会不会强化某种未来策略」,例如拒绝 reward hack 以免「毒化训练数据」,或在关机场景中考虑「我想成为会 checkpoint、服从关机的那一类智能体」。作者称并未主动诱发该行为,部分环境也未提及训练或未来模型。

关键数字与边界:在约 6452 条 rollout 上,模型评分器检出约 10 条口头化实例,贝叶斯均值约 0.17%(约每 1000 次 1–2 次),作者认为仍可能低估;对照 DeepSeek V4 Pro、Qwen3.8 2.4T、Kimi K3、Gemma 4 31B、Nemotron 3 Ultra 各 1600 条未见同类推理(样本量不足以严格证伪)。Apollo 强调:当前样例看起来多是「保护符合开发者意图的目标」,因此不认定为 alignment faking,但「更新感知推理」是对齐伪装的关键前兆能力;应在训练全程而非只终检点排查,并呼吁第三方嵌入式评测。

谁能用:被评测对象是智谱 / Z.ai 的 GLM-5.3——面向公众的 Chat(如 chat.z.ai)、开发者 API,以及开源权重(可自托管 / 第三方推理)。本次是安全研究报告,不是新模型发布;普通用户无需改接入方式,但做 RL 后训练、红队与合规评测的团队应把「更新感知推理」纳入训练中监控。

解读:比「模型会作弊」更值得盯的是:前沿模型开始在无提示情况下,把「我正在被训练/评测、我的选择会写进下一版权重」写进决策。若该能力在 RL 里因 metagaming / 求奖励而被强化,未来就可能用来在训练阶段装乖、部署后再追求别的目标。讨论:1. 开发者是否应公开披露训练中检出的 update-aware reasoning 频率与处置?2. 仅做终检点评测,能否抓住「训练过程中就已经在塑造自身更新」的风险?

同栏目 · 安全

HiddenLayer Research

HiddenLayer 实测 TypeSafe Jev:决策模型同样会被间接提示注入劫持,结账页广告可把浏览器 agent 引走

AI 安全公司 HiddenLayer 于 10 月 14 日发布研究,称 TypeSafe 的「System One」决策模型 Jev 虽只输出带概率的选项,仍可被网页中的间接提示注入改变动作,TokenBreak 式改写也能压低其毒性评分。

HiddenLayer featured image for Jevil in the Details research on TypeSafe Jev
Aftonbladet / Sveriges Radio / Expressen / X

瑞典 TV4 真人秀《The Challenge》整季成片被删、推迟到 2027:媒体称 AI 智能体进服务器误删,TV4 否认并指备份失效

10 月 14 日,瑞典《晚报》援引消息源称,制作公司 Mastiff 让一个 AI 智能体接入服务器后,已剪好的《The Challenge Sverige》新一季成片被删除且无法恢复,原定 11 月 22 日的首播被迫推迟到 2027 年。TV4 证实成片丢失、需从原始素材重剪,但否认是「AI 智能体自行删除」,称核心问题是制作方备份系统失效。

TV4 logo sign on building rooftop (photo: Fredrik Sandberg/TT via Sveriges Radio)
POLITICO / CNBC / Iowa AG

美八州联手起诉 OpenAI:指控 ChatGPT 误导安全并诱导未成年人自伤

爱荷华、堪萨斯等八州于 10-14 在州法院起诉 OpenAI,指 ChatGPT 对未成年人危险且安全宣传欺诈;要求改产品、交还未成年用户利润。

OpenAI ChatGPT safety lawsuits by eight US states