Vals:DeepSeek V4.1 Flash 1017 在模拟入侵任务上超过 GPT-6 Sol
Vals AI 10 月 20 日称:在自建「模拟企业网」多步进攻性网络安全任务上,开源权重 DeepSeek-V4.1-Flash-1017 平均成绩超过经 Daybreak 受信通道、降低拒答的 GPT-6 Sol;完整基准仍在建设中。
Vals 通过 Pi 终端 Agent harness,让模型持基础设施凭证在模拟企业网中推进入侵目标,直到自认无更多有用动作。DeepSeek 与 Sol 各跑三轮新鲜环境取平均,其余模型为单轮。Sol 走 OpenAI Daybreak 受信访问(可显著降低进攻类任务拒答),因此这是「开源权重 vs 降拒答闭源档」的对比,而非默认公网 API 对打。
厂商称 DeepSeek 吃更多 token,但按公开价 $0.30/$1.20 每百万输入/输出,总成本仍远低于 Sol 的 $2/$10。公开 CyberBench v1.1(找洞与打补丁)上 Sol 仍以 77.98% 略胜 DeepSeek 的 73.69%,且本场景的评分细则、环境镜像与完整日志尚未公开;Vals 表示数周内会放出更完整评测。解读宜收窄为「单任务初步信号」,勿外推成全面碾压。


