AIDC
DC AI 热点

全部 AI 动态

9月25日2026-09-25
arXiv 机器学习✦ 精选AI 评分 78/10012:00

混合推理模型中的“思考泄漏”:NoThink后训练机制因果审计

针对混合推理模型在无显式思考(NoThink)模式下的后训练机制,本研究探讨了其性能提升是否源于基座模型“思考(Think)”模式能力的潜在迁移。作者将这种“思考泄漏”纳入因果中介分析框架,并基于激活方向的双向干预进行审计。在3个模型、3种后训练方法及竞赛数学基准上的实验表明,“思考泄漏”在行为和表征层面均真实存在、具备因果性且影响显著,揭示了快推理模式下的内在表征机制。

阅读原文 ↗推荐理由:该研究通过因果干预实验深入揭示了混合推理模型在快速推理模式下性能提升的本质来源。# 推理# 因果分析# 可解释性# 模型后训练# 推理机制
9月24日2026-09-24
arXiv 人工智能✦ 精选AI 评分 80/10012:00

任务难度决定思维链因果作用:从“装饰性”到“承重性”的转变研究

该研究探讨了大模型思维链(CoT)在生成最终答案时的因果约束力。作者提出了“基于续写的因果测试”方法,通过扰动某一推理步骤、截断链条并强迫模型基于被破坏的前缀继续生成,用以量化CoT对答案的“承重性”(load-bearingness)。在Gemma-2、Llama-3.1和DeepSeek-R1蒸馏模型上的多项基准测试表明,CoT的因果承重性与任务难度密切相关,简单任务中CoT往往流于形式,而在难任务中则切实主导推理方向。

阅读原文 ↗推荐理由:量化研究了思维链对模型答案的真实因果影响,为大模型可解释性与推理监控提供了关键评估方法。# 思维链# 因果推断# 可解释性# 大模型# 推理机制
arXiv 人工智能✦ 精选AI 评分 72/10012:00

跨模型错误中的文本知识蒸馏:鲁棒故障与保守修复

该研究探讨了基于失败案例的文本知识蒸馏方法,旨在通过分析任务错误来发现模型的知识漏洞。研究定义了在推理时注入输入的独立“规则原子”,指出其虽然能编码可迁移的任务知识,但也可能包含特定于原模型的推理补丁,从而在跨模型迁移时产生干扰;此外,注入的规则还可能被错误应用于不相关场景并引发误判。(注:原文摘要末尾未完)

阅读原文 ↗推荐理由:深入分析了通过错误反馈进行跨模型知识蒸馏的不稳定性与规则泛化风险,为大模型推理修复提供了新视角。# 蒸馏# 模型修复# 大模型# 推理机制# 错误分析