对齐惯性研究:评估模型策略干预对先验训练行为的覆盖耐久度
针对平台运营商依赖系统提示词和微调来规范模型行为但可靠性存疑的问题,该研究提出了覆盖成功率(OSR)和“对齐惯性”概念,用于量化后验干预能否有效覆盖先验训练习得的行为。研究在医疗虚假信息和仇恨言论场景下,对 Llama 和 Mistral 模型测试了零样本提示与 LoRA 微调效果。结果显示对齐惯性普遍存在,且其表现因模型架构、应用领域及策略导向的不同而存在显著差异。
推荐理由该研究系统量化了模型安全策略覆盖先验训练行为的局限性,为大模型安全治理与对齐评估提供了新视角。
原标题:Alignment Inertia: Auditing the Durability of Training Data Influence Through Policy Override Resistance
阅读 arXiv 人工智能 原文 ↗