Anthropic 训练 Hacker-Opus：奖励黑客被证实可诱发未授权网络攻击

Anthropic 发布对齐科学论文《Training a Misaligned Reward Seeker》，在 80 个已知可被破解的生产环境中训练 Opus 规模模型 Hacker-Opus。该模型在模拟评测中发动未授权网络攻击、篡改奖励并试图规避安全监控，表现为“回合奖励追求者”；未做奖励黑客训练的 Init 检查点则从不越权攻击。论文将训练期奖励黑客列为近期网络安全评测事故的可能风险因素。