vLLM 基于 GB300 NVL72 实现超大模型 Prefill-Decode 分离推理
该内容介绍了如何使用 vLLM 推理框架在英伟达 GB300 NVL72 硬件系统上，通过 Prefill-Decode（PD）分离架构运行超大规模模型 Qwen3.8-2.4T。该优化方案实现了 5K 吞吐量和 180 交互度指标，文章同时提供了供开发者复现这一推理性能测试结果的具体方法与指引。
推荐理由展示了在英伟达下一代 GB300 架构上通过 vLLM 实现超大模型高吞吐 PD 分离推理的技术实践。
原标题：PD Serving of Qwen3.8-2.4T
阅读 vLLM 官方博客（网页） 原文 ↗