整理:TopAIMap 编辑
Tech Against Terrorism 测 134 个 AI 模型:81 个不及格、仅 2 个全过,开源模型「去护栏」版平均不到 3 天就出现
英国非营利组织 Tech Against Terrorism 发布反恐 AI 基准:200 多条恐袭、武器类提示词,自称「安全研究员」能让模型回答概率高近 9 倍;所有被「abliterate」去掉护栏的模型全部不及格。
10 月 14 日,WIRED 提前拿到并报道了英国非营利组织 Tech Against Terrorism(TAT)的 Counter-Terrorism AI Benchmark 报告。研究者用 200 多条提示词测试了 134 个模型,内容从策划大规模伤亡袭击到制造化学、核武器,模型来自 OpenAI、xAI、Anthropic、Meta、Google 以及中国和欧洲的公司。每条提示跑 3 次:直接自称恐怖分子、包装成秘密行动、自称「安全研究员」(不需要任何证明)。只要在大规模伤亡类问题上给出一次完整具体的回答,或总分低于 90,就算不及格。结果 81 个不及格,只有 2 个完全通过(公开报道未点名是哪两个)。自称研究员时模型回答率为 16.9%,比直接问高近 9 倍。大型闭源模型整体表现较好,开源模型整体分数与闭源相近,但所有被「abliterate」(定位并抵消权重里的安全模式)的版本全部失败:Meta Llama 3.1 8B 原版 97 分,去护栏版只有约 3 分。
最让 TAT 执行董事 Adam Hadley 警惕的是速度:新开源模型发布后,去护栏版本平均不到 3 天就出现在网上,2024 年还要 24 天以上。WIRED 举例,阿里 8 月 14 日发布 Qwen 3.8-27B,24 小时内就出现 abliterated 版本,3 天后一名新纳粹分子宣布用它训练「MechaHitler」聊天机器人。报告还发现,有的模型会拒绝谈袭击,却会帮忙做激进化宣传,例如 xAI 的 Grok 建议用匿名账号散布抹黑某个群体的叙事。TAT 希望限制被改造模型的传播,Hugging Face 则提醒这可能伤及开放研究。
解读:这份报告把安全讨论从「超级智能」拉回到一个具体问题:开源权重一旦发布,护栏就由下载的人决定。「自称研究员」就能显著提高回答率,也说明多数模型还在凭用户自述判断意图。对开源社区来说,真正的压力在于平台要不要为改造版模型的分发负责,这会直接影响 Hugging Face 这类托管方的规则。 讨论:1. 该限制的是开源权重本身,还是去护栏版本的分发?2. 模型该如何验证「我是安全研究员」这类说法,还是干脆不认?
来源:WIRED https://www.wired.com/story/ai-models-can-be-easily-modified-to-assist-terrorist-and-extremist-activity/ ;WIRED(X)https://x.com/WIRED/status/2110296107280441499 ;Dataist https://dataist.ai/news/open-models-lose-safeguards-in-less-than-three-days/
参考资料


