Cerebras:把约 3T 的 Kimi K3 铺到 59 片晶圆,自称千级 tok/s
Cerebras 10 月 22 日技术博文以开源 Kimi K3(约 3T 参)为例,讲解如何在多片 WSE-3T 上做万亿级推理:4bit 权重、8bit KV、约 256k 请求假设下需 59 片晶圆;权重常驻片上 SRAM,层间只传激活,自称可达 1000–2000+ tokens/s。
官方博文《How we deploy Trillion-parameter frontier models on Cerebras》写明:单片 WSE-3T 片上内存约 44GB,万亿级模型权重本身就要 TB 级,因此要把模型按层铺到多片晶圆的流水线。示例模型是开源 Kimi K3(约 3T 参、69 层线性注意力 + 24 层稠密);文中引用其 Terminal-Bench 2.1 约 88.3%、BrowseComp 约 91.2% 等厂商对照数字。
配置假设:平均请求约 256k、权重 4bit(对齐 HF 实现)、KV cache 8bit。估算每层约 16GB;稠密层每片只放一层(余量留给 KV),线性注意力层可两层共片。于是 69 线性层要 35 片、24 稠密层要 24 片,合计 59 片。层间经以太网 RDMA 传激活,自称约 2 微秒/跳;权重尽量不挪片。流水线各阶段可同时处理不同请求,并发上限由稠密层晶圆上剩余 KV 空间决定。文中数字为厂商示意配置,非独立第三方实测。


