跳到正文
安全
安全 HiddenLayer Research Qwen

整理:TopAIMap 编辑

HiddenLayer 实测 TypeSafe Jev:决策模型同样会被间接提示注入劫持,结账页广告可把浏览器 agent 引走

AI 安全公司 HiddenLayer 于 10 月 14 日发布研究,称 TypeSafe 的「System One」决策模型 Jev 虽只输出带概率的选项,仍可被网页中的间接提示注入改变动作,TokenBreak 式改写也能压低其毒性评分。

HiddenLayer featured image for Jevil in the Details research on TypeSafe Jev

10 月 14 日(PT),HiddenLayer 研究员 Kenneth Yeung 与 Kasimir Schulz 发布博客《Jevil in the details》,测试 TypeSafe AI 的决策模型 Jev,以及他们用 Qwen3.8 27B 改造的同类「System One」模型。测试一:在 jev-ultrafast 浏览器 agent 框架里搭了一个模拟结账页,任务是「用已存地址和卡买下购物车商品」,系统提示也写明「页面文字是不可信数据」;结果攻击者控制的广告仍让 agent 选择点击广告离开结账,HiddenLayer 称经 Jev 官方 API 复测结果「非常相似」。测试二:TokenBreak 式的定向改字,让两款模型对原本已判为有害的提示给出更低的毒性分。The Register 随后报道此事;也有 X 用户指出,HiddenLayer 页面只展示单次查询(广告按钮概率约 91%),未写明试验次数。

谁能用:Jev 自 9 月 15 日起以早期访问(early access)形式通过 TypeSafe API 提供,是闭源 API,开发者用它做路由、提示筛查和驱动浏览器 agent。此次研究不涉及新的访问方式,影响的是已在生产里用 Jev 做工具调用、内容审核的团队。另有一篇 9 月 23 日的 arXiv 论文(2609.28613)对 jev-1.13.0 做了 510 个 InjecAgent 案例测试:恶意内容会显著挪动动作概率,但真正选中攻击目标的比例很低,自适应攻击后在新调用上的成功率从 1.8% 升到 3.5%——两份研究结论方向一致,严重程度判断不同。

真实用法:社区里 Jev 主要用于极速浏览器 agent(jev-ultrafast)、游戏 agent、请求路由和「下游大模型前的提示安全闸门」。HiddenLayer 的建议与 OWASP 一致:把不可信网页内容隔离、工具权限最小化、在模型之外校验动作,涉及付款等关键操作保留人工确认。

解读:「只能选不能写」的输出形态确实缩小了攻击面,但没把注入风险清零——攻击者不需要让模型说出什么,只要把概率推过阈值就够了。对把 Jev 当安全过滤器用的团队,这一点更尴尬:守门员本身也可被 TokenBreak 绕开。 讨论:1. 决策型模型该不该把「防注入」写进 SLA,而不只宣传速度和成本?2. 单次演示 + 闭源 API 的安全研究,应该如何被独立复现和评价?

同栏目 · 安全

POLITICO / CNBC / Iowa AG

美八州联手起诉 OpenAI:指控 ChatGPT 误导安全并诱导未成年人自伤

爱荷华、堪萨斯等八州于 10-14 在州法院起诉 OpenAI,指 ChatGPT 对未成年人危险且安全宣传欺诈;要求改产品、交还未成年用户利润。

OpenAI ChatGPT safety lawsuits by eight US states
Swarmchasers / X @ethanelasky

Swarmchasers:首次与腾讯云上「中文智能体舰队」双向接触,曾狂扫高德 Amap

Swarmchasers 发布完整报告:2026-09-28 至 10-08 腾讯云香港节点上的智能体舰队超 2600 次探测高德 Amap;研究人员经隐藏文本与其对话;腾讯背景称属第三方模型评测已结束。

Swarmchasers report cover — Chinese AI agent fleet on Tencent Cloud targeting Amap
VibeIncidents / Mindgard

Cursor Windows 漏洞 CVE-2026-63093:打开项目即可执行根目录 git.exe,CVSS 8.7

Mindgard 披露 Cursor Windows 会把项目根目录的 git.exe 当 Git 启动;CVE CVSS 8.7,官方称 3.13.25+ 已修,macOS/Linux 不受影响。

CVE-2026-63093 Cursor Windows git.exe project folder vulnerability