基于GB300 NVL72集群：Kimi-K3的高效DSpark多节点训练实践
文章介绍了针对Kimi-K3模型构建高效DSpark训练系统的技术实践。通过结合投机采样技术（Speculators）与Mooncake分布式架构，团队在GB300 NVL72算力集群上成功实现了多节点DSpark的高效扩展与训练，大幅提升了大模型训练中的吞吐表现与集群算力利用效率。
DC AI 热点
全部 AI 动态
9月15日2026-09-15
9月14日2026-09-14
AMD MI300X实现Megatron训练与vLLM推理的按位完全一致性
vime与RL-Kernel在AMD Instinct MI300X及ROCm软件栈上，实现了Megatron训练端与vLLM推理端（Rollout）选定Token对数概率的按位（bit-for-bit）完全一致。该技术解决了大模型强化学习微调过程中，因训练与采样引擎底层算子实现差异导致的数值偏差痛点，达成测试零误差，大幅提升了AMD算力生态在RLHF等强化学习工作流中的稳定性和可用性。