Uncheatable Eval：基于动态压缩机制的语言模型防污染评估基准
针对现代大语言模型因海量预训练数据导致基准泄露、评估可靠性受损的问题，以及基座模型因指令遵循能力受限而难以通过任务型标准评估的挑战，研究人员提出了 Uncheatable Eval。该动态基准通过定期采集最新发布的文本来评估基座语言模型，以规避数据污染风险，并利用模型预测能力与文本压缩能力之间的关联设计评估机制。原摘要在方法细节处截断。
推荐理由针对大模型评测中普遍存在的数据污染痛点，提出结合动态数据与压缩理论的新评估方案，具较高学术参考价值。
原标题：Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models
阅读 arXiv 自然语言处理 原文 ↗