增量学习机制：面向泛化科学机器学习的目标设计
在科学机器学习中，增量学习通常针对物理基线残差训练模型，传统观点认为基线越精确、残差尺度越小，下游性能就越好。该研究表明，仅靠残差尺度不足以评估目标的可学习性。通过在分子图神经网络的总能量预测任务中进行评估，研究发现复杂的局部描述符基线虽然残差绝对尺度更小，但在架构代理空间中表现得极不平滑，相对其尺度反而更难学习。论文揭示了面向泛化科学机器学习的目标设计关键机制。
推荐理由揭示并挑战了科学机器学习中“残差越小越容易学习”的直觉认知，为AI4Science模型目标设计提供了理论指导。
原标题：The Mechanics of Delta Learning: Target Design for Generalizable Scientific Machine Learning
阅读 arXiv 机器学习 原文 ↗