盘点梁文锋署名技术论文：聚焦底层架构与核心算子创新
该文梳理了梁文锋在学术论文中的署名脉络。过去三年中，梁文锋极少作为第一作者或通讯作者出现在动辄上百人署名的旗舰模型整体报告中，而是将研究精力与署名重点投向最底层的原子技术，包括MLA注意力机制、MoE路由机制、mHC拓扑流形、DSpark推理算子以及DSec智能体沙盒等关键底层技术论文，展现了其对AI基础架构研发的深耕。
DC AI 热点
全部 AI 动态
9月25日2026-09-25
9月24日2026-09-24
面向生物基础模型的高效混合专家（MoE）训练方法
随着语言模型规模的持续扩大，扩展传统密集架构的计算成本变得愈发昂贵。在密集 Transformer 模型中，每个标记都会经过所有网络层，导致算力消耗剧增。针对这一挑战，该研究探讨了面向生物基础模型的高效混合专家（MoE）训练技术，旨在通过稀疏激活机制降低计算开销，提升大模型在生物医学等特定领域的训练效率与扩展能力。
腾讯发布Hunyuan-A13B开源MoE模型技术报告
该技术报告介绍了开源大语言模型Hunyuan-A13B。该模型采用混合专家（MoE）架构，总参数量为800亿，推理时仅激活130亿参数，有效兼顾了模型性能、计算效率与部署成本。模型在经过严格清洗且强化STEM领域的20T token语料上进行预训练，并结合高质量SFT与大规模强化学习，同时引入了双模式思维链（CoT）框架，显著提升了事实可靠性与逻辑推理能力。