预测智能体何时应当推理?基于行为压力测试的可靠性路由研究
该研究探讨了预测智能体在结合大模型推理、信息检索、集成与校准时,各决策行为在何时具备可靠性。研究人员在ForecastBench风格的二元预测任务上,将智能体选择检索、推理、参考市场先验或采用历史类比等策略视为可观测行为并展开压力测试。核心结论显示,机制的最优选择高度依赖于数据生成源,结构化类比在特定数据流程中占据主导,而市场群体策略与保守基线在其他情境下表现更优。
该研究探讨了预测智能体在结合大模型推理、信息检索、集成与校准时,各决策行为在何时具备可靠性。研究人员在ForecastBench风格的二元预测任务上,将智能体选择检索、推理、参考市场先验或采用历史类比等策略视为可观测行为并展开压力测试。核心结论显示,机制的最优选择高度依赖于数据生成源,结构化类比在特定数据流程中占据主导,而市场群体策略与保守基线在其他情境下表现更优。
研究人员提出了面向时间序列预测的 TW3Cast 系统。在 GIFT-Eval 基准评测中,该系统在 130 个方案中取得平均 MASE 排名第三的优异表现,仅次于两款基于智能体或语言模型的复杂多步骤系统。与依赖智能体的方案不同,TW3Cast 完全不使用智能体或语言模型,而是基于训练集一次性计算并冻结路由选择表,直接调度轻度微调的公开基础模型专家,在 97 种数据与预测配置下实现了极具竞争力的高效预测。
针对现有金融多智能体模拟数据集缺乏与历史证据时间对齐的问题,研究人员推出了 PAWS(政策驱动型智能体世界模拟)数据集。该数据集涵盖 36 个经过验证的美国金融与经济政策事件、12,727 条与政策关联的新闻记录,以及 65,291 个基于实际来源的利益相关者行为。每个行为均关联支撑新闻,并通过多层事件框架表征交互模式与金融行动类别,为金融多智能体仿真与宏观政策影响模拟提供了扎实的数据基础。
该技术报告介绍了Pistis多模态大语言模型家族,包含基于Qwen系列构建的27B与9B参数模型。研发团队提出了一套通用且可扩展的后训练框架,在大规模多模态监督微调(SFT)的基础上,首创了交替蒸馏与强化学习(IDRL)范式。IDRL将同策略蒸馏与强化学习深度集成在单一训练循环中,通过二者交替优化,有效提升了多模态模型的整体综合性能。
针对DNA测序流程中质控阈值选择、边界变异判定、异常诊断及复核标记等高度依赖人工经验且标准不一的问题,研究团队提出了智能体AI框架BaseCamp。尽管现有工作流系统已能规模化调度生物信息学工具,但周边决策层仍需大量繁琐的手动判断。该框架旨在利用智能体自动化这一决策层,以提升测序数据分析流程的规范性与效率。(注:输入摘要在文末截断)
该研究探讨了强化学习在多模态大语言模型(MLLM)中抑制幻觉效果不稳定的问题,并归因于从奖励到参数更新纠错链中的两个弱点:在采样层面,高语义熵的困难查询易产生全错样本组,使最易产生幻觉区域的相对优势坍缩为零;在优化层面,高置信度的错误token存在梯度消失现象。为此,论文提出了双熵增强策略优化方法DEEPO,以改进参数更新机制并有效缓解多模态幻觉。
该研究提出了对话记忆评测基准套件 TWIST,旨在评估记忆系统在用户信念发生改变时是否能正确执行干预操作。针对现有长对话基准主要测试召回率和被动知识更新的局限,TWIST 设立了四大评估维度:主动张力检测、依据历史记录审查输出草案、在回答当前信念的同时保留历史变更记录,以及对敏感召回的治理控制。该套件基于 LoCo 进行了扩展,并引入了经人工验证的草案对齐机制。
基于大语言模型的角色扮演智能体广泛应用于个性化助手和社交模拟等领域。然而,现有的强化学习方法通常依赖训练前收集的固定场景池,容易产生分布瓶颈:随着智能体能力的提升,其薄弱场景不断变化,而静态的训练分布无法随之调整。为此,研究者提出了 AdvRole 对抗性上下文重写框架,将角色扮演的强化学习转化为闭环课程,通过在负责角色扮演的智能体与对抗重写模块之间交替优化,持续动态演化训练场景以突破性能瓶颈。
客体永久性和固体性是人类认知的核心先验。针对视频生成模型作为代表性世界模型是否已涌现客体永久性认知这一问题,研究团队推出了WROP数据基础设施。该基准受核心认知科学启发,包含手工设计的150个任务,细分为六大认知类别,旨在探究并训练视频生成模型的物理推理能力,从而推动构建具备类人物理智能的世界模型。
针对交互式AI构建与评测中模拟用户难以复现真实意图演变和交互结果的缺陷,研究人员提出了多轮用户模拟器 TRACER。该模型能够显式建模用户动态演变的意图,使模拟行为与真实交互轨迹保持一致。TRACER 采用两阶段训练策略:首先在真实用户对话上进行监督微调(SFT),随后利用融合了分层结果与轨迹奖励的多轮强化学习进行对齐训练,从而大幅提升用户模拟的真实度与行为一致性。
针对大语言模型智能体在调用科学软件时可靠性不足的问题,研究人员推出了 Epydemix Agent 框架。该框架建立在开源随机区室流行病学建模 Python 库 Epydemix 之上,为 AI 智能体提供四大核心能力:模型与参数发现、声明式场景规范的预防性验证、通过经过测试的库代码进行执行,以及结果的可检查性,从而实现了高可靠性的自然语言驱动科学建模。
针对大语言模型智能体在接入海量企业工具时面临的上下文超限、工具选择退化及合规治理漏洞等问题,研究人员提出了名为 skilder 的新框架。传统通过提示词设定的安全策略缺乏硬性约束,而多智能体委托方案又分散了审计日志。skilder 将技能与工具等能力打包为特定角色,通过基于角色的范围划分与渐进式技能发现机制,实现对智能体工具调用的结构化治理与确定性访问控制。
该研究探讨了可验证奖励强化学习(RLVR)在开放域问答与搜索任务中的适用性。以往该方案多应用于数学和代码等奖励明确的大模型场景,10亿参数以下小模型通常依赖大模型蒸馏。研究人员采用群体相对策略优化(GRPO)算法,直接在0.8B参数的Qwen3.5小模型上测试“检索后推理”架构,探索无需教师模型蒸馏即可使端侧小型搜索智能体掌握复杂检索与推理能力的可行性。
针对现有大语言模型交易系统多侧重长期预测或缺乏状态记忆等缺陷,研究人员提出了记忆增强型交易智能体框架 META。该框架是首个引入类似检索增强生成(RAG)的情景记忆增强型多智能体金融决策系统,通过整合一系列专门的指标分析智能体,有效解决了复杂交易环境下的动态决策需求,提升了智能体在金融分析与交易推理中的实际应用能力。
该研究提出了一种在多任务模型中学习跨任务关系的新框架。该框架通过针对性的成对关系来近似任务标签的联合分布,从而在避免对完整联合空间建模的高昂复杂度下,利用迁移学习提升模型性能与信息抽取能力。该方法具备通用性,并在YouTube生产级推荐系统(涵盖通知、主页及“接下来播放”等场景)中完成部署验证,实验表明其显著提升了预测准确率与用户满意度。
该研究提出了名为RECLAIM的新基准测试,旨在评估AI智能体能否复现机器学习论文的核心研究结论。基准选取了100篇NeurIPS 2025论文,预先设定了待复现结果、成功复现判定标准以及GPU运行时间预算。根据原作者开源内容的完整度,基准设立了不同难度层级,测试智能体在软件安装、代码调试及运行实验等完整科研工作流中的自动化复现能力。
该研究针对大语言模型作为低成本评审员在统计推断中的局限性展开探讨。研究指出,AI评估往往存在偏差和噪声,而严谨的假设检验必须明确控制第一类和第二类错误。为此,论文提出了一种人机协同的假设检验方案,结合成本感知的AI选择性评分与序贯人工核验升级机制,旨在满足严格统计推断有效性与错误率控制的前提下,最大限度降低整体评估成本。
研究人员推出了名为Forecast-Dojo的可回放环境,专门用于基准测试和训练大语言模型预测智能体。该环境将已公布结果的预测市场问题与带时间戳的历史新闻相结合,允许智能体在连续的历史时间节点检索事件并动态调整预测,无需等待未来事件即可完成评估、交互数据收集与结果反馈。系统包含1568个Polymarket事件及1880万篇带日期的新闻文章,并对12个模型进行了评估测试。
随着企业内AI编程智能体从数百人试点规模扩展至数万人,企业多直接采购Claude Code或Codex等第三方运行框架。此类框架负责决策模型路由、上下文读取、Prompt缓存使用及子智能体调用,直接决定了算力消费单价与调用总量。报告指出,企业若直接使用未加调优的专有或默认框架,将面临高昂且失控的调用成本,亟需加强路由与治理管控。
针对蛋白质修饰中序列空间庞大且湿实验验证成本高的问题,研究人员推出了名为 PFArena 的评测基准。尽管蛋白质语言模型(PLM)、大语言模型(LLM)及智能体在蛋白质修饰领域展现出潜力,但其在实际实验决策场景中的相对表现尚不明确。PFArena 包含四个受控任务接口,覆盖单突变体生成与多突变体排序,通过提供不同梯度的突变适应度数据,系统性评估各类模型在蛋白质设计与修饰任务中的决策能力。
针对大语言模型个性化价值对齐中常采用静态画像、忽视情境对价值偏好动态影响的局限,研究人员受勒温场论启发,提出将个人价值观建模为先验、情境依赖偏好建模为后验的新范式。基于此,该研究提出了名为 BaCVA 的推理时贝叶斯情境价值对齐方法,使模型输出能够结合用户内在特质与具体环境约束,实现更动态、情境化的个性化对齐。
以GRPO为代表的分组强化学习已成为训练推理与智能体大模型的主流范式。然而,这类方法在全轨迹层面的优势估计虽然可靠,但在单步层面上存在系统性偏差,粗粒度的轨迹级反馈难以准确评估单个步骤的实际贡献(例如失败轨迹中往往包含有价值的操作步骤)。论文回归强化学习基础定义,提出通过构建轨迹图来精确估计步骤级优势,以解决多轮复杂智能体任务中的信用分配难题并提升模型训练效果。
针对工具调用型智能体在策略持续更新中动作归因(Action Credit)失效、重新计算导致昂贵工具调用与环境交互成本的问题,该研究探讨了历史归因何时真正需要更新。研究核心发现,动作价值的变化并不一定会导致最终决策的改变;只要策略诱导的漂移不足以颠覆原有决策,历史动作归因即可继续复用,从而大幅降低计算开销。(注:原始摘要文本存在部分截断)
基于大语言模型的多智能体系统虽能自动化挖掘量化阿尔法因子,但依赖外部API带来了成本、可用性及保密性挑战,且长期运行易导致研究路径坍塌。为此,研究团队提出 AlphaDiverse 框架,整合了多智能体研究系统、多样化研究路径收集以及本地智能体后训练流程。该框架通过生成互补的研究方案组合并动态调整研究环境,旨在提升本地量化研究智能体在因子挖掘中的多样性探索能力。
在去中心化的大语言模型多智能体系统中,单个智能体可能在保持响应的同时任务求解质量持续退化,引发灰度失效。针对此类问题,研究人员提出了完全去中心化的自愈框架MeshHeal。该框架在双时间尺度上结合能力匹配的同行评审机制:在快速时间尺度上,通过自适应分层机制升级不确定或低评分输出的评审层级;在提供即时任务保护的同时,收集证据以动态调整未来的路由决策,并允许恢复正常的智能体重新接入。
具备工具调用能力的智能体通常交替生成结构化工具调用和自然语言总结。现有同策略强化学习算法(如GRPO)由于将整条轨迹的单一优势值无差别广播至所有Token,导致总结生成中的梯度噪声泄漏至工具决策Token,引发跨段信用分配错误与优化不稳定。为此,研究者提出了SLCA-GRPO框架,通过引入分段锁定的信用分配机制,有效隔离噪声并提升了工具调用策略训练的鲁棒性。
该研究探讨了大模型多轮智能体训练中策略内自我蒸馏(OPSD)范式的缺陷。该范式利用特权信息构建强教师模型进行词元级监督,但在多轮交互中,学生智能体会表现出脱离实际信息的盲目自信,误以为自己掌握了未曾观测到的特权信息,导致性能大幅落后于普通强化学习,甚至劣于基座模型。为此作者提出了新范式;由于原文摘要截断,新方法细节尚未完全展开。
针对癌症登记员及肿瘤数据专家需处理复杂且频繁更新的编码和分期标准这一痛点,研究团队开发了CRISS(癌症登记智能支持系统)。该系统采用检索增强生成(RAG)架构,构建能够快速提供引文支持的对话助手。研究评估了CRISS在提供准确且附带引用来源的解答、改善指南检索与解读、以及在保持人工最终审核的前提下支持人员培训和技术咨询等方面的实际效果。
该研究针对计算与内存资源受限的边缘设备,提出了一套高效的边缘机器学习工作流程,用于在腕戴式多模态生理监测设备WeBe Band上快速开发、优化和部署ML模型。该系统支持自动机器学习(AutoML)和硬件优化,能够自动生成硬件高效型模型,并轻松集成到WeBe的核心固件中,大幅简化了端侧算法的开发周期。
该研究针对欧洲电力交易跨日前、日内和平衡等多层级市场的复杂机制,提出了一种符合监管约束的AI辅助交易系统功能架构。该架构深度结合了欧盟市场耦合机制、跨区域电力传输物理约束,并满足REMIT、MiFID II、MiFIR和EMIR等合规要求。研究通过定义决策状态向量、残差风险敞口核算以及约束优化目标,构建了一套正规化的系统规范,为高监管环境下的电力AI交易系统开发提供了工程指导。