经典语义抽取式文本摘要能否在印地语中进行评估?一项复现研究
该论文复现了Mohd等人在2020年提出的基于分布语义的抽取式文本摘要方法,并将其适配至印地语,在每个语言特定步骤中均替换为适配天城文的组件。研究在XL-Sum印地语部分和FIRE ILSUM 2.0 Hindi两个语料库上进行了评估,采用适配天城文的ROUGE指标进行对比。实验结果显示,在原论文发表的等权重配置下,该复现系统的表现显著劣于简单的基线方法(如选取前三句)。
该论文复现了Mohd等人在2020年提出的基于分布语义的抽取式文本摘要方法,并将其适配至印地语,在每个语言特定步骤中均替换为适配天城文的组件。研究在XL-Sum印地语部分和FIRE ILSUM 2.0 Hindi两个语料库上进行了评估,采用适配天城文的ROUGE指标进行对比。实验结果显示,在原论文发表的等权重配置下,该复现系统的表现显著劣于简单的基线方法(如选取前三句)。
针对超大语料库场景下不同任务难度的本质差异,该研究提出了“语料任务复杂度”(CTC)概念,根据任务难度随语料规模增长的规律来刻画任务特性。例如,基础检索任务仅需对语料库进行单次线性扫描,而查找矛盾等深层任务则需对呈二次方增长的主张对进行比对。研究指出以往工作在此类复杂度分析上的局限,为理解和评估大规模语料下的模型任务提供了新的计算理论视角。
理解大语言模型(LLM)如何编码语言结构是可解释性研究的核心难题。传统的诊断分类器(探针)方法存在引入容量混淆与校准偏差等局限,往往难以区分模型自身的内禀表征与探针本身的拟合能力。为解决这一问题,该研究提出了一个无探针(probe-free)框架,用于在单个神经元层面上定位语言选择性,探索模型内部表征机制。