Drift Contract：结合谱更新实现深度鲁棒的局部学习算法
局部学习通过各层独立的辅助损失避免了全局反向传播，具备天然的结构并行优势，但长期受困于深度增加时的精度衰减和超参数脆弱性。该研究首次将类似 Muon 的谱更新几何（包含动量正交化与谱步长缩放）应用于逐层局部更新。在 CIFAR-10 MLP 基准测试中，该方法在深度 12 至 48 层、宽度 128 至 2048 的范围内，仅需单一固定步长即可取得最优表现，显著提升了局部学习对网络深度的鲁棒性。
推荐理由将 Muon 谱更新机制引入局部学习，有效解决了该领域在深层网络中超参数脆弱与精度退化的核心痛点。
原标题：The Drift Contract: Spectral Updates for Depth-Robust Local Learning
阅读 arXiv 机器学习 原文 ↗