MORSE:通过反向评分优化多上下文排序以实现证据保留压缩
该研究探讨了基于似然的多上下文压缩技术对上下文输入顺序的高度敏感性问题。实验表明,相同上下文集合的不同排列顺序会导致显著不同的关键证据保留结果。论文将这种敏感性归因于“信息抢占”现象,即较早出现的部分相关上下文会提前消耗共享信息的置信度权重,从而压低后续更关键证据载体的增量评分,大幅增加强证据被错误删除的风险。研究通过受控干预实验深入分析了该机制。
推荐理由深入揭示了多上下文压缩中由信息抢占导致的顺序敏感问题,对长文本证据保留与压缩优化具有重要参考价值。
原标题:MORSE: Multi-Context Ordering via Reverse Scoring for Evidence-Preserving Compression
阅读 arXiv 自然语言处理 原文 ↗