研究揭示思维链前缀指令或导致视觉语言模型答案解码失效
最新研究探讨了视觉语言模型(VLM)在多项选择评测中存在的解码陷阱。当评测系统追加思维链(CoT)推理提示,却在模型生成完整推理过程前直接读取答案标签的对数几率时,会导致严重的评估失真。实验显示,Qwen2.5-VL-7B在ScienceQA任务上的准确率从80.76%骤降至45.48%,且超93%的预测倾向于选择首个选项。探针测试证实隐藏层仍保留正确答案,表明失效源于不当的即时读取机制。
最新研究探讨了视觉语言模型(VLM)在多项选择评测中存在的解码陷阱。当评测系统追加思维链(CoT)推理提示,却在模型生成完整推理过程前直接读取答案标签的对数几率时,会导致严重的评估失真。实验显示,Qwen2.5-VL-7B在ScienceQA任务上的准确率从80.76%骤降至45.48%,且超93%的预测倾向于选择首个选项。探针测试证实隐藏层仍保留正确答案,表明失效源于不当的即时读取机制。
针对具备推理能力的大语言模型在简单问题中生成过长思维链从而浪费推理算力的问题,研究人员提出了 CounterRoute 框架。该框架采用在线强化学习方法,直接基于原生双模式检查点联合学习路由决策与模式条件响应,无需特定微调预热。它有效解决了路由目标随策略演变、初始模式偏好破坏探索稳定性以及序列级目标耦合等挑战,实现了高效的自适应推理路由。
针对大语言模型在复杂法律推理中面临的结构性挑战,研究人员提出了LEGO框架。传统RAG及GraphRAG往往侧重词汇或语义相似度,忽略了法律条文间的规范关系;而普通思维链提示易生成缺乏法律规范结构的推导过程。LEGO采用双模块架构,将法律专家GraphRAG与专家级思维链相结合,有效规范了法律条文检索与逻辑推理链路,旨在突破高风险法律领域的推理瓶颈。
针对大语言推理模型常生成正确却冗长低效的推理链问题,现有优化方法多依赖轨迹级或局部标记信号,未能充分建模步骤间的语义依赖,导致难以有效区分冗余步骤与关键支撑步骤。研究团队提出了 RECAP(通过传播实现的冗余感知信用分配)方法。该方法基于推理步骤在后续推导中的实际下游作用精准分配信用,从而在确保模型推理准确率的前提下精简推理过程,显著提升推理效率。
针对现代视觉-语言-动作(VLA)系统在长程操作中缺乏显式中间结构、现有思维链规划器依赖粗粒度标注的问题,研究团队提出了 X-Planner 规划前端。该方案同时改善具身推理的监督与表征,融合了第一人称视角、通用操作接口及遥操作等多源数据,构建了具备分层粒度和差异化标注深度的规划数据集。由于原始摘要截断,具体的下游控制效果待全文进一步阐释。
该研究探讨了大模型思维链(CoT)在生成最终答案时的因果约束力。作者提出了“基于续写的因果测试”方法,通过扰动某一推理步骤、截断链条并强迫模型基于被破坏的前缀继续生成,用以量化CoT对答案的“承重性”(load-bearingness)。在Gemma-2、Llama-3.1和DeepSeek-R1蒸馏模型上的多项基准测试表明,CoT的因果承重性与任务难度密切相关,简单任务中CoT往往流于形式,而在难任务中则切实主导推理方向。
该研究探讨了大语言模型在推理任务中的“能力”(解题正确率)与“效率”(所需资源消耗)两个核心维度。当模型利用思维链(CoT)处理不同难度的问题时,正确率和所需Token数量均受问题难度与模型规模影响,但两者的联合作用机制此前尚不明确。研究采用分层贝叶斯方法建模分析,旨在揭示模型规模与问题难度如何共同影响推理期的能力与效率扩展。(注:原文摘要存在截断)
思维链(CoT)监控通常假设模型生成的推理过程真实反映了得出答案的计算机制。以往评估推理真实性的指标主要停留在行为层面,即通过修改推理文本来观察输出变化。该研究提出一种在激活层面测量自生成推理真实性的因果分析方法。与以往仅评估性能衰减的因果审计不同,该方法通过带有已知反事实目标的激活干预,验证每一次干预是否能将答案切换至特定的反事实实体,从而精确评估推理步骤的因果支撑度。
虽然放射科 AI 在胸部 X 光、病理切片及 2D 影像检测中已取得显著进展,但针对临床信息更为丰富的 3D CT 影像理解仍面临挑战。为此,相关研究推出了开源 3D CT 视觉语言模型 NV-Reason-CT。该模型旨在引入放射科医生的思维链(Chain-of-Thought)推理机制,强化 AI 对三维医学断层扫描数据的深度解读与逻辑分析能力,助力复杂的临床影像辅助诊断。