AI 编程实时动态与要闻

斯坦福 James Zou 团队（Owen Queen、James Zou）11 月 2 日发布交互式研究报告《The shelf life of LLM findings》，用 2024 年 7 月到 2026 年 9 月发布的 20 个模型（来自 8 家开发商）重测 50 条被广泛引用的 LLM 行为结论。结果：22 条（44%）已失效，17 条（34%）明显减弱，8 条（16%）仍成立，3 条（6%）反而增强；已失效结论从发表到失效的中位时间为 14.7 个月。数字母、长上下文「中间丢失」、编造引用等能力缺陷大多消失，而迎合用户、裁判模型偏爱自己答案等偏好类问题依然存在。

查看大图

独立评测机构 Artificial Analysis 正式上线全新基准维度 AA-PersonalityBench，专门量化评估前沿大语言模型的拟人化心理特征，重点聚焦两大关键指标：置信度（Confidence / 不确定性承认度）与谄媚度（Sycophancy / 迎合用户错误倾向）。实测数据显示：在置信度维度上，Google Gemini 3.8 Flash 斩获 100 分满分，Gemini 4 Argon 达到 97 分，展现出极强的决策断言能力，但同时也是最不愿意承认自身不确定性的模型；在谄媚度测试中，开源大模型 Llama 4 Maverick 达到 97 分（极易毫无底线附和用户），而 Claude Fable 5.1 仅得 4 分（最坚持事实原则），为对齐工程提供了量化标尺。

查看大图

大模型安全与对齐权威研究团队在 Hugging Face 与 GitHub 正式开源了《Just Ask Jev: Reinforcement Learning for Calibrated Decisions as a Zero-Shot Detector of AI Alignment Failures》（arXiv: 2609.29429，GitHub: sumleo/RLCDAlignBench）。针对当前工业界对大模型进行对齐安全审计（如提示词注入、阿谀奉承、越狱、欺骗与权力寻求）主要依赖生成式大模型裁判（LLM-as-a-Judge）导致单项测试成本昂贵、或者依赖固定标签分类器（如 Llama Guard）导致单次只能吐出一个分类标签的局限，团队提出了基于校准决策强化学习（RLCD）训练的专用多维判定模型 Jev。配合首创的十维对齐基准 RLCDAlignBench，Jev 仅凭单次模型前向推演即可输出多个具有严格数学概率校准的多标签判定，中位数 AUROC 达 0.886，评测成本剧降 63 倍。

查看大图