英伟达在Dynamo-Triton中集成TensorRT多设备推理，简化多GPU模型部署服务

随着生成式AI对计算与显存的需求不断超出单卡上限，英伟达推出TensorRT多设备推理新功能，并将其集成至NVIDIA Dynamo-Triton中。该方案旨在简化跨多个GPU的大模型推理服务部署流程，有效降低多卡分布式推理的工程复杂度，提升大规模生成式AI模型在多GPU环境下的服务效率与吞吐能力。

原标题：Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton