相同证据不同判定：多模态大模型在图文及语音文本冲突中存在证据不可交换性
该论文探讨了多模态大语言模型在图像或语音与伴随文本发生冲突时的偏好机制。针对以往文本偏置研究中证据顺序固定或指令位置变化导致成因不明的问题，研究团队采用配对比较法，在固定指令与证据内容的前提下仅互换两类模态信息的输入顺序。实验覆盖视觉与语音模型，发现将图像或音频置于冲突文本之后会持续改变模型判定，证实了模型处理冲突证据时存在显著的顺序敏感性与不可交换性。
推荐理由深入探讨了多模态大语言模型在多模态冲突场景下的位置偏差与模态依赖机制，对模型鲁棒性评测具参考价值。
原标题：Same evidence, different judgments: Evidence noncommutative in vision/speech-text conflicts
阅读 arXiv 人工智能 原文 ↗