跳到正文
安全
安全 X @METR_Evals / METR Blog

整理:TopAIMap 编辑

METR 提「嵌入式评估」:要公开实验室是否会失控内部 Agent 的证据

METR 于 10 月 14 日发布嵌入式评估愿景,覆盖对齐、控制与 AI 研发加速三大块;官帖约 344 赞、2.1 万曝光。

METR 嵌入式评估:对齐/控制/AI研发加速三问

2026-10-14,非营利评估机构 METR(@METR_Evals)发文并提出一系列博客:若前沿实验室正走向「失去对内部 Agent 的控制」,外界能否及时知情?其「嵌入式评估」(embedded assessments)方案主张独立评估者在约定范围内查阅内部数据与访谈员工,围绕三块出公开证据——(1) 对齐:内部事故与训练是否压制更严重错位迹象;(2) 控制:内部 Agent 造成严重伤害却未被发现的可能性;(3) AI R&D 加速:自动化研发把能力增速推到对齐/控制跟不上的程度。对开发方的三项要求包括:评估范围/删改/局限透明、员工可就范围内议题私下向 METR 陈述、在约定范围内快速公开发布(可删改)。METR 强调产出是证据而非安全背书或正式监管,并称愿与 OpenAI、Anthropic、Google DeepMind、Meta、Amazon 等继续试点。官帖约 344 赞、约 2.1 万曝光、64 转发。

谁能用:这是面向前沿实验室的第三方评估提案,非面向普通用户的产品入口;公众可读博客与评估报告,无法自行接入。普通用户继续用各厂 App/API(Free/Pro/Ultra/Enterprise 等)不受影响。 解读:把「失控风险」从模型能力榜拉回实验室内部 Agent 与研发自动化,要求可公开的第三方证据。讨论:① 删改权仍在开发方时,报告可信度如何界定?② 是否应把嵌入式评估写入 Frontier Safety Policy 或采购合同?

同栏目 · 安全

POLITICO / CNBC / Iowa AG

美八州联手起诉 OpenAI:指控 ChatGPT 误导安全并诱导未成年人自伤

爱荷华、堪萨斯等八州于 10-14 在州法院起诉 OpenAI,指 ChatGPT 对未成年人危险且安全宣传欺诈;要求改产品、交还未成年用户利润。

OpenAI ChatGPT safety lawsuits by eight US states
Swarmchasers / X @ethanelasky

Swarmchasers:首次与腾讯云上「中文智能体舰队」双向接触,曾狂扫高德 Amap

Swarmchasers 发布完整报告:2026-09-28 至 10-08 腾讯云香港节点上的智能体舰队超 2600 次探测高德 Amap;研究人员经隐藏文本与其对话;腾讯背景称属第三方模型评测已结束。

Swarmchasers report cover — Chinese AI agent fleet on Tencent Cloud targeting Amap
VibeIncidents / Mindgard

Cursor Windows 漏洞 CVE-2026-63093:打开项目即可执行根目录 git.exe,CVSS 8.7

Mindgard 披露 Cursor Windows 会把项目根目录的 git.exe 当 Git 启动;CVE CVSS 8.7,官方称 3.13.25+ 已修,macOS/Linux 不受影响。

CVE-2026-63093 Cursor Windows git.exe project folder vulnerability