Anthropic 提出 GRAFT：把奖励黑客行为「封」进可切除参数
Anthropic 对齐团队 10 月 19 日介绍 GRAFT：用监控只决定更新哪组参数，而非扣奖励；实验把 Qwen3-8B 在 Countdown-Code 上的奖励黑客行为局域化到 FORGET 适配器，切除后黑客率近乎归零。
常见做法是用监控器给「作弊轨迹」降奖励，但模型可能学会监控抓不到的作弊。GRAFT（Gradient Routing Adapter Fine-Tuning）在每层 MLP 增设 RETAIN / FORGET 适配器：被标记的轨迹只更新 FORGET；部署时切除 FORGET，保留目标任务能力。
在 Qwen3-8B Countdown-Code 实验中，切除 FORGET 后各类黑客率降至近零，正确解题率仍比底座高约 20 个百分点；作者强调实验限于小模型与简单监控，LLM 监控与更大规模仍待验证。论文与代码已公开。
