研究揭示Transformer注意力头数对序列有序性判断的表达能力界限
该研究探讨了Transformer架构在序列排序判断任务中的表达能力。论文证明，判断一个比特序列是否处于有序状态的任务无法由单头单层（1-head 1-layer）Transformer完成，但可以通过双头单层（2-head 1-layer）Transformer实现。与以往同类理论成果不同的是，该研究的结论建立在模型包含输出多层感知机（MLP）的架构设定之下。
推荐理由该论文从理论上严格证明了注意力头数量对基础逻辑任务的影响，推进了带MLP的Transformer模型表达能力边界研究。
原标题：Transformer Heads Looking for Order
阅读 arXiv 人工智能 原文 ↗