Google 发布 llm-d 1.0：给 Agent 爆发流量用的开源分布式推理栈
Google 在 PyTorch Conference 发布 llm-d 1.0：Kubernetes 原生开源分布式推理栈（CNCF Sandbox），面向多步 Agent 与 RL rollout 的突发流量；与 Red Hat、IBM 等共建，已接 vLLM/SGLang 与 Cloud TPU/GPU。
官方称聊天时代「一进一出」的负载，正变成会分叉调工具、共享长前缀、成批突发的 Agent/RL 流量；单机或简单轮询容易重复算前缀、塞满加速器内存。llm-d 把一集群模型服务收成协调池：前缀/负载感知路由、分层 KV 卸载、Prefill/Decode 分离、优先级流控与会话感知调度；演示含 1000 个沙箱 Agent 打到同一 endpoint，跨 vLLM、SGLang 与 TPU/GPU 混部。
1.0 强调 v1 API、路由器高可用与 DisaggregatedSet 无感滚动升级；并支持异步队列旁路实时流量、TPU/GPU 时间片吃掉 RL 空闲算力。公开数字（厂商）：Ironwood TPU 上编码 Agent 负载，前缀感知+主机内存卸载相对普通 K8s Service 中位 TTFT 降逾 85%、吞吐约 2.4×；Gemini 平台侧前缀缓存命中率约从 35% 提到 70%。Helm 图与 GKE 文档已开放；可只接路由或逐步加流控/卸载/分离。
