AIDC
← 返回全部动态
arXiv 自然语言处理AI 评分 68/10009月25日 12:00

受控实验复检极小规模三值语言模型:基线架构设置主导性能评估结论

该研究针对微控制器级的三值(1.58-bit)权重语言模型进行了严格的受控复验。此前有研究称混合路由三值模块在6万参数规模下性能超越参数匹配的全精度Transformer达22%,并归因于归纳偏置。研究人员通过固定训练配方、多随机种子及98次测试进行复查,发现基线Transformer的具体结构形状对性能起主导作用,揭示了此前结论可能受基线设计差异误导,强调了极小模型对比的评估规范。

推荐理由严谨复查了超低参数量三值语言模型的实验基线,揭示了模型评估中易被忽视的基线结构偏差。

原标题:Baseline Shape Decides the Verdict: A Controlled Re-Examination of Ternary Language Models at 60K Parameters

阅读 arXiv 自然语言处理 原文 ↗