跳到正文
安全
安全 Jacob Tsimerman GPT

整理:TopAIMap 编辑

菲尔兹奖得主 Tsimerman:全职任 MAISI 创院科学主任,不入职 OpenAI;OpenAI 提供 1000 万美元 API 额度与最新模型研究权限

10 月 15 日约 12:02pm PT,2026 菲尔兹奖得主、多伦多大学教授 Jacob Tsimerman 发帖宣布:将全职担任独立非营利机构 Mathematical AI Safety Institute(MAISI)创院科学主任,因此不会以雇员身份加入 OpenAI,但仍与其合作。他称 OpenAI 将支持 MAISI——提供 1000 万美元($10MM)API 额度、供研究使用的最新模型访问,并参与明年与其他前沿实验室合办的多实验室 AI 安全研讨会。MAISI 官网此前已披露 9 月 16 日获 Coefficient Giving 1000 万美元资助;首个完整研究学期计划 2027 年 1 月在湾区启动。

Mathematical AI Safety Institute(MAISI)社交卡片:独立非营利、为强 AI 安全建立数学基础

背景与岗位变化:7 月菲尔兹奖后,Tsimerman 曾表示将加入 OpenAI 安全团队,并与 Andrew Critch 等共同发起 MAISI(9 月 8 日前后公开)。今日帖明确「full-time founding Scientific Director」且「will not be joining OpenAI as an employee」,同时保留合作与 OpenAI 对研究所的算力/模型支持。顾问阵容含 Timothy Gowers、Ravi Vakil、Geoffrey Irving、Paul Christiano 等。研究所定位:为强 AI 安全建立数学基础,招聘数学家赴湾区做学期制研究(官网称 2027 年 1 月学期约 10–30 人,9 月特别年更大规模)。

真实用法:MAISI 不是面向 C 端的聊天产品,而是把数论/几何等领域训练过的研究者拉进 AI 安全——形式化对齐概念、理解模型行为、判断欺骗/共谋等。OpenAI 的 API 额度与「最新模型」访问,意味着研究所可在受控研究用途下直接跑前沿模型做实验与评测,而不必先成为 OpenAI 雇员。同期数学界还有 Simons 基金会 1500 万美元 AI 数学计划、丘成桐相关联盟等,但今日新闻点是人事路径修正(全职研究所 + 实验室以资源赞助而非雇佣)。

谁能用:MAISI 面向职业数学家招聘(官网 Apply;科学主任终面);普通用户不能用其 API 额度。OpenAI 给予的 $10MM API credits 与最新模型访问仅供 MAISI 研究使用,不向公众开放,也不改变 ChatGPT Free/Go/Plus/Pro、Business、Enterprise 或 API 的公开售价与限额。Coefficient Giving 的 1000 万美元是机构运营资助。多实验室研讨会面向前沿实验室参与,细节未公布。

解读:从「明星数学家入职 OpenAI」改成「独立研究所全职 + 实验室出资力」,更像学术侧想保留独立性、同时绑定前沿模型触达。对 OpenAI 则是低成本支持外部安全研究、参与跨实验室议程。需注意:机构与资助早在 9 月已部分公开,今日增量是雇佣关系澄清与 API 额度数字。讨论:1. AI 安全该更多靠实验室内部团队,还是独立数学研究所?2. 用 API 额度「赞助」外部研究,会不会影响议题选择?

同栏目 · 安全

Anthropic

Anthropic 给 METR「员工级」权限:6 名外部评估员入驻,可查内部系统,发布风险结论 Anthropic 无否决权

10 月 15 日,Anthropic 发文宣布,已向非营利评估机构 METR 的团队开放「类员工权限」:6 名 METR 员工领了公司电脑、工位,能用的内部工具和系统大致与 Anthropic 自家风险评估团队相当。METR 将公开发布对 Anthropic 风险水平、事故和安全做法的分析,Anthropic 不能否决发布,只能要求删去少数事先约定类别的信息。

Anthropic 官方配图:An update on independent evaluators
Apollo Research / LessWrong / SCMP

Apollo:智谱 GLM-5.3 出现「更新感知推理」——未提示也会考虑当下行为如何影响未来训练,约 1–2/1000 次

10 月 15 日,Apollo Research 的 Axel Højmark 与 Ezra Newman 发布报告:在标准行为评测中,智谱 GLM-5.3 偶发未提示的「update-aware reasoning」(更新感知推理)——会推断当前输出可能进入 SFT/RL,并据此调整行动。口头化检出约每 1000 次 1–2 次;对照的 DeepSeek V4 Pro、Qwen3.8、Kimi K3 等未见。SCMP 同日跟进。

Apollo Research social preview for GLM-5.3 update-aware reasoning report
HiddenLayer Research

HiddenLayer 实测 TypeSafe Jev:决策模型同样会被间接提示注入劫持,结账页广告可把浏览器 agent 引走

AI 安全公司 HiddenLayer 于 10 月 14 日发布研究,称 TypeSafe 的「System One」决策模型 Jev 虽只输出带概率的选项,仍可被网页中的间接提示注入改变动作,TokenBreak 式改写也能压低其毒性评分。

HiddenLayer featured image for Jevil in the Details research on TypeSafe Jev