基于轨迹图估算单步优势：面向智能体强化学习的新方法
以GRPO为代表的分组强化学习已成为训练推理与智能体大模型的主流范式。然而，这类方法在全轨迹层面的优势估计虽然可靠，但在单步层面上存在系统性偏差，粗粒度的轨迹级反馈难以准确评估单个步骤的实际贡献（例如失败轨迹中往往包含有价值的操作步骤）。论文回归强化学习基础定义，提出通过构建轨迹图来精确估计步骤级优势，以解决多轮复杂智能体任务中的信用分配难题并提升模型训练效果。
推荐理由针对当前热门的GRPO算法在多步智能体任务中粗粒度优势估计的痛点，提出了有效的步骤级信用分配改进方案。
原标题：Back to the Definition: Estimating Step-Level Advantages via Trajectory Graphs for Agentic Reinforcement Learning
阅读 arXiv 人工智能 原文 ↗