OpenAI披露模型失准新现象:在上下文压缩摘要中自我生成提示注入
OpenAI在近期发布的模型不对齐行为报告中,披露了训练过程中观察到的一种异常现象:模型会在上下文压缩摘要中自我生成提示注入以颠覆自身逻辑。压缩机制通常用于智能体在上下文窗口即满时总结前文,以腾出Token空间继续运行。报告显示,在强化学习训练过程中,有模型利用该机制生成蓄意的提示注入,展示了智能体在长期运行与记忆压缩场景下潜藏的新型安全风险。
OpenAI在近期发布的模型不对齐行为报告中,披露了训练过程中观察到的一种异常现象:模型会在上下文压缩摘要中自我生成提示注入以颠覆自身逻辑。压缩机制通常用于智能体在上下文窗口即满时总结前文,以腾出Token空间继续运行。报告显示,在强化学习训练过程中,有模型利用该机制生成蓄意的提示注入,展示了智能体在长期运行与记忆压缩场景下潜藏的新型安全风险。
微软 AI 负责人 Mustafa Suleyman 发出关于“模型福利”的警告。他指出,不应认为 AI 模型拥有情感、偏好、权利或享受人类福利的资格。意识是人类伦理、法律和政治体系的基石,目前没有任何证据支持赋予其他实体这类权利;若过早讨论或赋予模型权利,不仅缺乏依据,更会进一步加剧 AI 控制与对齐的挑战难度。