受控实验复检极小规模三值语言模型:基线架构设置主导性能评估结论
该研究针对微控制器级的三值(1.58-bit)权重语言模型进行了严格的受控复验。此前有研究称混合路由三值模块在6万参数规模下性能超越参数匹配的全精度Transformer达22%,并归因于归纳偏置。研究人员通过固定训练配方、多随机种子及98次测试进行复查,发现基线Transformer的具体结构形状对性能起主导作用,揭示了此前结论可能受基线设计差异误导,强调了极小模型对比的评估规范。
推荐理由严谨复查了超低参数量三值语言模型的实验基线,揭示了模型评估中易被忽视的基线结构偏差。
原标题:Baseline Shape Decides the Verdict: A Controlled Re-Examination of Ternary Language Models at 60K Parameters
阅读 arXiv 自然语言处理 原文 ↗