全部 AI 动态

Kimi K3 在 vLLM 中的推理性能优化：实现 2.8 倍吞吐提升

文章介绍了针对 Kimi K3 模型在开源推理框架 vLLM 中的全栈服务优化方案，最终实现了 2.8 倍的吞吐量提升。优化措施覆盖调度机制、KDA 前缀缓存、ReplaySSM 状态恢复、预填充与解码（PD）分离及状态卸载，并对并行策略、混合专家（MoE）结构以及 GPU 底层算子进行了深度调优。