NVIDIA 开源循环小模型 Dory1.0-4B:同一权重可调推理圈数
NVIDIA 10 月 16 日放出 Nemotron Labs Dory1.0-4B(OpenMDW-1.1):共享 20 层循环块,推理时可设 1–4 圈换精度;上下文最高 256K,SWE-bench Verified 官方自测 4 圈约 61.8%。
Dory 把网络拆成输入 8 层 + 共享循环 20 层 + 输出 8 层:同一检查点用 n_recurrent_loops 调算力,不必换模型。官方默认建议 2 圈;Agent/编码可试 4 圈。支持 last_loop KV 缓存,使多圈时 KV 内存接近单圈。提供 BF16 / MXFP8 / NVFP4 / GGUF。
NVIDIA 自测:SWE-bench Verified 1/2/4 圈为 50.3 / 59.5 / 61.8;Terminal-Bench 2.1 为 12.5 / 18.1 / 22.2。vLLM 与 llama.cpp 需特定 PR 分支。分数为厂商统一 harness,第三方完整复现仍待跟进。


