DeepSeek 开源生产推理框架 DeepInfer：跑 V4.1-Flash 的那套栈

GitHub 仓库 deepseek-ai/DeepInfer 说明：当前支持模型为 DeepSeek-V4.1-Flash，面向离线推理并保留规模化服务所需核心能力。特性包括优化内核与采样运行时、Attention DP / 平衡 CP、MoE EP + EPLB、DSpark 与置信度调度验证、SWA 有界回放、异步调度、批不变推理、确定性采样与结构化输出。硬件侧标明 NVIDIA SM100 GPU 与华为昇腾 950 NPU。

官方强调本次开源不含完整在线服务所需的 KV cache 系统、Prefill/Decode 分离与跨副本负载均衡，需自行补齐。致谢写明 DeepInfer 最初主要基于 vLLM，并借鉴 SGLang、TensorRT-LLM。另以 MIT 开源 deepseek-recipe，方便自托管时与官方 API 编解码行为对齐。厂商称旨在帮社区降算力与能耗成本；第三方完整复现与线上延迟表现仍待跟进。