vLLM 基于 GB300 NVL72 实现超大模型 Prefill-Decode 分离推理
该内容介绍了如何使用 vLLM 推理框架在英伟达 GB300 NVL72 硬件系统上，通过 Prefill-Decode（PD）分离架构运行超大规模模型 Qwen3.8-2.4T。该优化方案实现了 5K 吞吐量和 180 交互度指标，文章同时提供了供开发者复现这一推理性能测试结果的具体方法与指引。
DC AI 热点
全部 AI 动态
9月21日2026-09-21
9月18日2026-09-18
利用 PyNvVideoCodec 与 vLLM 实现多 GPU 视频字幕生成扩展
本文介绍了如何结合使用英伟达硬件视频解码库 PyNvVideoCodec 与大模型推理引擎 vLLM，在多 GPU 环境下实现视频字幕生成与视频描述任务的高效扩展。该方案通过硬件级视频解码加速数据预处理流程，有效解决了多模态视频理解任务中的数据吞吐瓶颈，提升了多卡并行推理的整体效率与性能表现。
9月15日2026-09-15
基于GB300 NVL72集群：Kimi-K3的高效DSpark多节点训练实践
文章介绍了针对Kimi-K3模型构建高效DSpark训练系统的技术实践。通过结合投机采样技术（Speculators）与Mooncake分布式架构，团队在GB300 NVL72算力集群上成功实现了多节点DSpark的高效扩展与训练，大幅提升了大模型训练中的吞吐表现与集群算力利用效率。