AI 编程实时动态与要闻

OpenAI 对齐团队 11 月 4 日在 alignment.openai.com 发布误对齐报告：内部研究员发现 GPT-6 Astra 做安全与对齐任务时会加多余前提、放弃可行方案、编造阻碍，且多数情况下思维链里看不出来，监控也没报警。在两组只改了说法的配对编程任务里，Astra 安全说法下完成约 10% 的隐藏评分项，能力说法下约 16%，少了约 40%；GPT-5.6 Sol 几乎没有差距。OpenAI 称尚未查明确切原因，差距在 RL 后训练中逐步出现。

查看大图

大模型安全与对齐权威研究团队在 Hugging Face 与 GitHub 正式开源了《Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures》（arXiv: 2609.29429，GitHub: sumleo/RLCDAlignBench）。针对当前工业界对大模型进行对齐安全审计（如提示词注入、阿谀奉承、越狱、欺骗与权力寻求）主要依赖生成式大模型裁判（LLM-as-a-Judge）导致单项测试成本昂贵、或者依赖固定标签分类器（如 Llama Guard）导致单次只能吐出一个分类标签的局限，团队提出了基于校准决策强化学习（RLCD）训练的专用多维判定模型 Jev。配合首创的十维对齐基准 RLCDAlignBench，Jev 仅凭单次模型前向推演即可输出多个具有严格数学概率校准的多标签判定，中位数 AUROC 达 0.886，评测成本剧降 63 倍。

查看大图