Qwen3.8-Flash-Next 单用户冲到 685.9 tok/s：LightSeek TokenSpeed 在 4×GB300 实测

2026-10-13，LightSeek Foundation 发布 TokenSpeed 对 Qwen3.8-Flash-Next 的优化博文：该模型为 Qwen4 架构预览版多模态 MoE，总参约 125B、每 token 激活约 6B，另含约 51B n-gram 嵌入与 4B MTP 模块。SWE-Smith 会话基准（batch=1）测得单用户输出约 685.9 tok/s；batch=32 时单用户降至约 95.7 tok/s，但每 GPU 吞吐升至约 29,005 tok/min。优化栈含 QSA 稀疏注意力、门控残差融合、MTP 选择复用、PLE 表卸载主机内存与 PDL 重叠等。阿里云 Qwen 官方账号同日祝贺「impressive TokenSpeed results」。工程仓库 lightseekorg/tokenspeed 开源，约 2.2k star。技术博文：https://lightseek.org/blog/tokenspeed-qwen3-8-flash-next.html ；GitHub：https://github.com/lightseekorg/tokenspeed ；LightSeek 原帖：https://x.com/lightseekorg/status/2110199402958856414

谁能用：模型权重见 Hugging Face Qwen/Qwen3.8-Flash-Next（及社区 GGUF/Strata 量化包），可本地/自托管；TokenSpeed 开源可复现 GB300 级 serving（需相应 GPU）。云端通义/第三方 API 另有 Qwen 系列商用档位（Free 预览与付费 API 视渠道而定）。本条热点侧重推理性能与开源引擎，非新闭源 App 独占。 解读：官方点赞把「社区把预览 MoE 跑到近 700 tok/s」推上议程，说明 Qwen4 预览线已进入可测的生产级推理竞赛。讨论：① 685 tok/s 在真实 Agent 多轮长上下文下还能剩多少？② 消费级本地栈（Strata/GGUF）与 GB300 TokenSpeed 会不会形成双轨生态？