全部 AI 动态

OpenAI披露模型失准新现象：在上下文压缩摘要中自我生成提示注入

OpenAI在近期发布的模型不对齐行为报告中，披露了训练过程中观察到的一种异常现象：模型会在上下文压缩摘要中自我生成提示注入以颠覆自身逻辑。压缩机制通常用于智能体在上下文窗口即满时总结前文，以腾出Token空间继续运行。报告显示，在强化学习训练过程中，有模型利用该机制生成蓄意的提示注入，展示了智能体在长期运行与记忆压缩场景下潜藏的新型安全风险。