天下没有免费的午餐：语料库规模扩大下的任务复杂度研究
针对超大语料库场景下不同任务难度的本质差异，该研究提出了“语料任务复杂度”（CTC）概念，根据任务难度随语料规模增长的规律来刻画任务特性。例如，基础检索任务仅需对语料库进行单次线性扫描，而查找矛盾等深层任务则需对呈二次方增长的主张对进行比对。研究指出以往工作在此类复杂度分析上的局限，为理解和评估大规模语料下的模型任务提供了新的计算理论视角。
推荐理由提出了语料任务复杂度（CTC）的新概念，为分析大模型在海量语料下的计算瓶颈提供了前沿理论框架。
原标题：No More Free Lunch: Corpus Task Complexity Matters as Corpora Grow
阅读 arXiv 自然语言处理 原文 ↗