Qwen 团队放出 BabelArena:23 语 Agent 基准,提示/工具/环境全本地化
阿里 Token Hub / Qwen 系放出 BabelArena(HF 数据集 Qwen/BabelArena,arXiv:2609.23490):约 702 个规范任务、逾 1.6 万实例,覆盖 23 种语言与 4 类 Agent 设定;提示、任务、工具描述与环境内容均本地化。自测中无单一模型通吃;Qwen-3.8-Max 在 VitaBench/DeepPlanning 准确率领先,低资源语种上各家 Pass 与语言一致性均下滑。
Hugging Face 数据集卡与论文写明:BabelArena 用 BabelFlow 工作流,把 VitaBench、DeepPlanning、τ³-Bench、ClawEval 等可执行 Agent 基准「组件完整」迁到 23 语(15 种文字、高/中/低资源各一组)。与只译题干的多语榜不同,系统/模拟用户/评测提示、工具说明与环境库内容一并本地化,并经多层校验与人工复核。本公开 standard 子集含三族任务数据(约 532 任务/语、1.2 万+ 实例);指标分报 Pass^1、Pass^3 与语言一致性(LC),不合成单分。
厂商对照五款前沿模型(中等推理):Qwen-3.8-Max 在 VitaBench Pass^1 约 42.3、DeepPlanning 约 46.0 居首;τ³-Bench 上 Gemini-3.1-Pro 约 71.4、GPT-5.6-Terra 约 69.2 更高;ClawEval 上 Claude-Opus-4.8 约 55.8 领先。按资源档:五家在低资源语上的 Pass^1/Pass^3/LC 均低于高资源档;低资源轨迹输入 token 可到英语同任务约 1.7–2.1 倍。代码/数据见 QwenLM/BabelArena 与 HF;训练禁用该冻结样本。


