TW3Cast:基于微调基础模型冻结路由的时序预测系统
研究人员提出了面向时间序列预测的 TW3Cast 系统。在 GIFT-Eval 基准评测中,该系统在 130 个方案中取得平均 MASE 排名第三的优异表现,仅次于两款基于智能体或语言模型的复杂多步骤系统。与依赖智能体的方案不同,TW3Cast 完全不使用智能体或语言模型,而是基于训练集一次性计算并冻结路由选择表,直接调度轻度微调的公开基础模型专家,在 97 种数据与预测配置下实现了极具竞争力的高效预测。
研究人员提出了面向时间序列预测的 TW3Cast 系统。在 GIFT-Eval 基准评测中,该系统在 130 个方案中取得平均 MASE 排名第三的优异表现,仅次于两款基于智能体或语言模型的复杂多步骤系统。与依赖智能体的方案不同,TW3Cast 完全不使用智能体或语言模型,而是基于训练集一次性计算并冻结路由选择表,直接调度轻度微调的公开基础模型专家,在 97 种数据与预测配置下实现了极具竞争力的高效预测。
该技术报告介绍了Pistis多模态大语言模型家族,包含基于Qwen系列构建的27B与9B参数模型。研发团队提出了一套通用且可扩展的后训练框架,在大规模多模态监督微调(SFT)的基础上,首创了交替蒸馏与强化学习(IDRL)范式。IDRL将同策略蒸馏与强化学习深度集成在单一训练循环中,通过二者交替优化,有效提升了多模态模型的整体综合性能。
该研究探讨了强化学习在多模态大语言模型(MLLM)中抑制幻觉效果不稳定的问题,并归因于从奖励到参数更新纠错链中的两个弱点:在采样层面,高语义熵的困难查询易产生全错样本组,使最易产生幻觉区域的相对优势坍缩为零;在优化层面,高置信度的错误token存在梯度消失现象。为此,论文提出了双熵增强策略优化方法DEEPO,以改进参数更新机制并有效缓解多模态幻觉。
该研究提出了对话记忆评测基准套件 TWIST,旨在评估记忆系统在用户信念发生改变时是否能正确执行干预操作。针对现有长对话基准主要测试召回率和被动知识更新的局限,TWIST 设立了四大评估维度:主动张力检测、依据历史记录审查输出草案、在回答当前信念的同时保留历史变更记录,以及对敏感召回的治理控制。该套件基于 LoCo 进行了扩展,并引入了经人工验证的草案对齐机制。
客体永久性和固体性是人类认知的核心先验。针对视频生成模型作为代表性世界模型是否已涌现客体永久性认知这一问题,研究团队推出了WROP数据基础设施。该基准受核心认知科学启发,包含手工设计的150个任务,细分为六大认知类别,旨在探究并训练视频生成模型的物理推理能力,从而推动构建具备类人物理智能的世界模型。
该研究探讨了可验证奖励强化学习(RLVR)在开放域问答与搜索任务中的适用性。以往该方案多应用于数学和代码等奖励明确的大模型场景,10亿参数以下小模型通常依赖大模型蒸馏。研究人员采用群体相对策略优化(GRPO)算法,直接在0.8B参数的Qwen3.5小模型上测试“检索后推理”架构,探索无需教师模型蒸馏即可使端侧小型搜索智能体掌握复杂检索与推理能力的可行性。
该研究提出了一种在多任务模型中学习跨任务关系的新框架。该框架通过针对性的成对关系来近似任务标签的联合分布,从而在避免对完整联合空间建模的高昂复杂度下,利用迁移学习提升模型性能与信息抽取能力。该方法具备通用性,并在YouTube生产级推荐系统(涵盖通知、主页及“接下来播放”等场景)中完成部署验证,实验表明其显著提升了预测准确率与用户满意度。
该研究针对大语言模型作为低成本评审员在统计推断中的局限性展开探讨。研究指出,AI评估往往存在偏差和噪声,而严谨的假设检验必须明确控制第一类和第二类错误。为此,论文提出了一种人机协同的假设检验方案,结合成本感知的AI选择性评分与序贯人工核验升级机制,旨在满足严格统计推断有效性与错误率控制的前提下,最大限度降低整体评估成本。
针对蛋白质修饰中序列空间庞大且湿实验验证成本高的问题,研究人员推出了名为 PFArena 的评测基准。尽管蛋白质语言模型(PLM)、大语言模型(LLM)及智能体在蛋白质修饰领域展现出潜力,但其在实际实验决策场景中的相对表现尚不明确。PFArena 包含四个受控任务接口,覆盖单突变体生成与多突变体排序,通过提供不同梯度的突变适应度数据,系统性评估各类模型在蛋白质设计与修饰任务中的决策能力。
针对大语言模型个性化价值对齐中常采用静态画像、忽视情境对价值偏好动态影响的局限,研究人员受勒温场论启发,提出将个人价值观建模为先验、情境依赖偏好建模为后验的新范式。基于此,该研究提出了名为 BaCVA 的推理时贝叶斯情境价值对齐方法,使模型输出能够结合用户内在特质与具体环境约束,实现更动态、情境化的个性化对齐。
以GRPO为代表的分组强化学习已成为训练推理与智能体大模型的主流范式。然而,这类方法在全轨迹层面的优势估计虽然可靠,但在单步层面上存在系统性偏差,粗粒度的轨迹级反馈难以准确评估单个步骤的实际贡献(例如失败轨迹中往往包含有价值的操作步骤)。论文回归强化学习基础定义,提出通过构建轨迹图来精确估计步骤级优势,以解决多轮复杂智能体任务中的信用分配难题并提升模型训练效果。
具备工具调用能力的智能体通常交替生成结构化工具调用和自然语言总结。现有同策略强化学习算法(如GRPO)由于将整条轨迹的单一优势值无差别广播至所有Token,导致总结生成中的梯度噪声泄漏至工具决策Token,引发跨段信用分配错误与优化不稳定。为此,研究者提出了SLCA-GRPO框架,通过引入分段锁定的信用分配机制,有效隔离噪声并提升了工具调用策略训练的鲁棒性。
该研究探讨了大模型多轮智能体训练中策略内自我蒸馏(OPSD)范式的缺陷。该范式利用特权信息构建强教师模型进行词元级监督,但在多轮交互中,学生智能体会表现出脱离实际信息的盲目自信,误以为自己掌握了未曾观测到的特权信息,导致性能大幅落后于普通强化学习,甚至劣于基座模型。为此作者提出了新范式;由于原文摘要截断,新方法细节尚未完全展开。
针对具备推理能力的大语言模型在简单问题中生成过长思维链从而浪费推理算力的问题,研究人员提出了 CounterRoute 框架。该框架采用在线强化学习方法,直接基于原生双模式检查点联合学习路由决策与模式条件响应,无需特定微调预热。它有效解决了路由目标随策略演变、初始模式偏好破坏探索稳定性以及序列级目标耦合等挑战,实现了高效的自适应推理路由。
该研究探讨了在硬预算约束下,通过重复评测来准确估计基准测试分数并确保较低不确定性的理论极限。研究在固定任务网格和响应成本限制的框架下,推导出了在完全观察与允许遗漏两种情况下,最差纯群组的最优期望区间宽度理论界限。该理论下界同样适用于自适应硬预算策略,为机器学习模型的基准评测设计与置信度验证提供了严格的理论依据。
当前营销领域常使用大语言模型构建“虚拟人设”以预测真实受众对文案的反应。本研究基于Upworthy研究档案中数千次真实流量点击率A/B测试作为基准,开展了从模拟到真实的有效性检验。实验对比了基于真实人口统计特征构建的10人虚拟人设面板与无角色设定的基准模型,结果显示,无角色基准在文案效果模拟上的表现反而击败了基于人设的模拟,对当前AI受众模拟的有效性提出了质疑。
针对结构化生物医学数据分析,表格基座模型展现出巨大潜力,其中TabPFN在小样本表格分类任务中表现尤为突出。然而,优化和预条件策略对生物医学场景微调的影响尚缺乏研究。本文对TabPFN v2.5展开系统性实证评估,在涵盖阿尔茨海默病、乳腺癌、精神分裂症等疾病及KEEL库的59个生物医学数据集上,测试了五种基于AdamW的预条件策略,为优化生物医学表格基座模型微调提供了实验参考。
动态高斯泼溅能显式表征随时间演化的3D场景,但现有方法多针对重建、未来状态生成或渲染进行优化,缺乏对可复用预测动力学的学习。对此,研究人员提出了 4DGS-JEPA,一种用于动态高斯场景因果多时域预测的原生联合嵌入预测架构。该模型构建了涵盖场景级、运动群级及高斯级的层次化表征,并结合时域条件转移算子,能够同时支持直接预测与递归推演。
针对多形性胶质母细胞瘤(GBM)生存预测对高准确度和透明度的双重需求,研究人员指出现有方法往往在性能与可解释性间妥协,且过度依赖单一成像模态,未能充分利用互补信息。该研究提出一种超图神经网络方案,认为这两者并非固有冲突,旨在利用图神经网络的结构优势,在保证强判别能力的同时提取具解释性的特征表征,以提升多模态临床预测能力(原文摘要截断)。
该研究推出了全模态嵌入模型家族 Ovis-Embedding,实现对文本、图像、视频和音频的原生整合。不同于将各个独立的模态塔简单组合,Ovis-Embedding 采用共享的多模态骨干网络,将不同模态编码至统一的表征空间中。该模型以预训练的 Qwen-omni 为骨干网络,通过低秩初始化的对比训练完成适配,并引入了以数据为中心的全模态训练策略。
传统语言模型的可解释性电路查找通常需要进行大量复杂的干预实验。该研究提出了一种轻量化新方法,将单次前向传播中的注意力视为路由图,筛选出指向答案的关键路径。在归纳和间接宾语识别(IOI)任务中,消融该方法提取的边对模型性能的破坏显著高于随机消融。研究在GPT-2与Pythia模型上验证了该方法的有效性,为低成本理解模型内部机制提供了新路径。
该研究指出大模型在多轮对话中的交互失败不仅源于上下文记忆丢失,更深层的原因在于“过早后验坍缩”。即在用户初期意图尚不明确时,模型便过早锁定了某种单一的隐藏假设,导致后续用户给出的澄清信息仅被视为对既定假设的微调,而非彻底纠错。研究团队使用 Gemini-2.5-P 在写作、规划和代码任务中设计了可控实验,系统验证了这一导致模型难以调整错误方向的固有机制。
该研究探讨了大模型思维链(CoT)在生成最终答案时的因果约束力。作者提出了“基于续写的因果测试”方法,通过扰动某一推理步骤、截断链条并强迫模型基于被破坏的前缀继续生成,用以量化CoT对答案的“承重性”(load-bearingness)。在Gemma-2、Llama-3.1和DeepSeek-R1蒸馏模型上的多项基准测试表明,CoT的因果承重性与任务难度密切相关,简单任务中CoT往往流于形式,而在难任务中则切实主导推理方向。
该研究探讨了基于失败案例的文本知识蒸馏方法,旨在通过分析任务错误来发现模型的知识漏洞。研究定义了在推理时注入输入的独立“规则原子”,指出其虽然能编码可迁移的任务知识,但也可能包含特定于原模型的推理补丁,从而在跨模型迁移时产生干扰;此外,注入的规则还可能被错误应用于不相关场景并引发误判。(注:原文摘要末尾未完)
面向推理的大语言模型强化学习能显著提升多步推理与代码能力,但轨迹生成(Rollout)阶段也承担了极高的训练计算成本。如何在保障训练数据新鲜度、一致性与统计有效性的前提下提升 Rollout 效率,已成为当前优化的核心课题。本综述对近年来面向推理的强化学习 Rollout 效率研究进行了系统梳理,从底层机制和性能瓶颈等维度对现有优化方法展开分类,并指出了未来的发展方向。
结构映射通过对齐关系连接系统而非表层特征来形成类比推理。研究人员提出了名为紧界结构映射(SMTB)的新算法,相比经典的结构映射引擎(SME),其运行速度提升了5至15倍,在大型嵌套领域中发现映射的能力提高了约50%。SMTB是更广泛的认知规则引擎(CRE)项目的一部分,该框架通过友好的Python接口集成了顶尖的高性能C++认知系统核心算法。
监督式量子误差缓解通常需要理想输出来学习映射关系,但生成无噪声模拟的计算成本随系统规模呈指数级增长,导致其在大规模场景下无法适用。本研究提出一种弱监督量子误差缓解方案,探索利用电路结构和硬件校准中成本较低、单独不可靠的启发式信号来替代真实的理想标签。研究团队整合了包含稳定器、奇偶校验约束、弛豫及读出特性在内的16种启发式标注函数,用于构建有效的误差缓解模型。
针对大语言模型容易受对抗性群体共识影响而产生盲从(阿谀)现象的问题,研究人员提出了对比认知解码(CED)。不同于依赖弱辅助模型的传统对比解码,CED在单模型架构上通过双重前向传播来隔离从众偏见。该方法引入了新型非对称零边界概率钳位和离散Top-k截断掩码,在数学上抑制有害的从众Token生成且避免语法崩塌,为零样本推理阶段的模型自主性提供了有效干预手段。
该论文针对自动定理证明(ATP)中微调大语言模型的对齐问题展开研究。当前大模型常作为树搜索的引导策略,而传统交叉熵损失在搜索场景下并非最优。将对齐策略拓展至树搜索具有较大挑战,因为证明发现过程高度依赖监督演示中未包含的偏离轨迹状态的探索与恢复。为此,作者拓展了相关计算对齐方法以直接优化搜索生成器。注:由于原摘要结尾截断,更多技术细节尚未完整披露。
该研究探讨了Transformer架构在序列排序判断任务中的表达能力。论文证明,判断一个比特序列是否处于有序状态的任务无法由单头单层(1-head 1-layer)Transformer完成,但可以通过双头单层(2-head 1-layer)Transformer实现。与以往同类理论成果不同的是,该研究的结论建立在模型包含输出多层感知机(MLP)的架构设定之下。