面向生物基础模型的高效混合专家（MoE）训练方法
随着语言模型规模的持续扩大，扩展传统密集架构的计算成本变得愈发昂贵。在密集 Transformer 模型中，每个标记都会经过所有网络层，导致算力消耗剧增。针对这一挑战，该研究探讨了面向生物基础模型的高效混合专家（MoE）训练技术，旨在通过稀疏激活机制降低计算开销，提升大模型在生物医学等特定领域的训练效率与扩展能力。
DC AI 热点
全部 AI 动态
9月24日2026-09-24
NV-Reason-CT 发布：面向放射科思维链推理的开源 3D CT 视觉语言模型
虽然放射科 AI 在胸部 X 光、病理切片及 2D 影像检测中已取得显著进展，但针对临床信息更为丰富的 3D CT 影像理解仍面临挑战。为此，相关研究推出了开源 3D CT 视觉语言模型 NV-Reason-CT。该模型旨在引入放射科医生的思维链（Chain-of-Thought）推理机制，强化 AI 对三维医学断层扫描数据的深度解读与逻辑分析能力，助力复杂的临床影像辅助诊断。
9月16日2026-09-16
稠密模型与MoE架构对比：激活参数、吞吐量与选型策略解析
文章深入探讨了稠密（Dense）模型与混合专家（MoE）模型的核心差异，重点解析了激活参数量、推理吞吐量以及不同应用场景下的选型策略。文中以 Nemotron 3.5 Lightning 为例，剖析了总参数量达 30B 的模型如何通过每个 Token 仅激活 3B 参数，既保持了大模型的表征能力又大幅提升了计算效率，为开发者在算力受限下权衡推理成本与模型表现提供了系统指导。
9月15日2026-09-15
利用 NVIDIA Transformer Engine 加速 JAX 下的无丢弃 MoE 训练
混合专家模型（MoE）已成为当前大模型训练的主流架构趋势，如 DeepSeek、Qwen 和 Mixtral 等模型均采用了该方案。针对 MoE 训练过程中的计算与通信开销，技术团队探讨了如何利用 NVIDIA Transformer Engine 在 JAX 深度学习框架下实现无丢弃（Dropless）MoE 模型的高效训练加速，进一步优化大语言模型的训练性能与资源利用率。