Forecast-Dojo：用于大模型预测智能体评测与训练的可回放环境
研究人员推出了名为Forecast-Dojo的可回放环境，专门用于基准测试和训练大语言模型预测智能体。该环境将已公布结果的预测市场问题与带时间戳的历史新闻相结合，允许智能体在连续的历史时间节点检索事件并动态调整预测，无需等待未来事件即可完成评估、交互数据收集与结果反馈。系统包含1568个Polymarket事件及1880万篇带日期的新闻文章，并对12个模型进行了评估测试。
推荐理由通过融合历史新闻与预测市场真实结果构建可回放环境，有效解决了大模型预测智能体评估周期长和训练反馈滞后的难题。
原标题：Forecast-Dojo: Replayable Environments for Benchmarking and Training LLM Forecasting Agents
阅读 arXiv 人工智能 原文 ↗