NVIDIA:开源 Nemotron 3.5 Bolt E4B 4GB,端侧语音 / 嵌入式 Agent 向
NVIDIA 10 月 23 日在 Hugging Face 与 Build 放出 Nemotron 3.5 Bolt E4B 4GB:基于 Gemma-4-E4B 后训练的约 8B(4B 有效)开源小模型,Q4_K_M GGUF,面向本机语音助手、交互人设与嵌入式界面;可配 DFlash 草稿模型做推测解码。许可 OpenMDW-1.1。
模型卡写明:在 Gemma-4-E4B-it 上继续后训练,强化多轮工具调用、指令遵循与输入 grounding;上下文输入/输出各最高约 64K。4GB 指实测运行显存量级,配套 Q4_K_M 权重与可选 DFlash 草稿模型;llama.cpp / Build.NVIDIA.com 同日可用。另有 BF16 全精度变体。
NVIDIA 自测(NeMo Gym)称 Q4 版 MultiChallenge 约 55.60、RoleBench 约 71.21,多项高于同精度 Gemma4 E4B-it;工具与对话向基准亦有提升。适用场景明确为低内存、低首字延迟的本机/边缘 Agent,而非取代前沿大模型。分数为厂商 harness,第三方复现仍待跟进。


