OpenAI 11 月 22 日发布首席科学家 Jakub Pachocki 署名文章《Perplexity and Intelligence》,首次公开自 GPT-3.5 以来模型在内部代码库留出集上的 log-perplexity:GPT-3.5 约 0.99、GPT-4 约 0.91,低于 0.8 后出现网络安全和数学方面的变革性能力,约 0.76 的模型开始产出突破性数学结果。他提议把困惑度作为跨实验室的共享指标,并设定在 AI 监控能力达到具体里程碑前不越过的共同上限。
核心要点速览
- ✓来源:openai.com 官方文章,作者为 OpenAI 首席科学家 Jakub Pachocki,他本人在 X 上发帖介绍,Sam Altman 转发称这是 OpenAI 近期发布的最重要内容
- ✓公开数据:内部代码库留出集 log-perplexity,GPT-3.5 约 0.99、GPT-4 约 0.91,近期模型已低于 0.8,约 0.76 的模型开始解决数学开放问题
- ✓预测:进入约 0.68–0.7 区间时预计还会出现新的变革性能力,最早 2027 年可能出现预训练算法上的「雪崩式」突破
- ✓提议:前沿实验室共同制定基于困惑度等指标的开发上限,在 AI 行为理解与监控达到具体里程碑(如 CoT 监控的继任方案)之前不越过
- ✓局限:各家评测集和数据配比不同难以直接比较,CoT 推理带来的能力提升不会体现在困惑度上

关键决策指标一览
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
下游 benchmark 很快饱和,各实验室也缺少可比的统一指标。OpenAI 首席科学家 Jakub Pachocki 11 月 22 日在 X 上发帖介绍其署名文章《Perplexity and Intelligence》,称 OpenAI 决定公开更多预训练进展,以推动形成共同的安全标准。
架构亮点与底层机制
文章把现代 AI 看作在海量语料上训练「压缩器」,再用微调和强化学习激发潜在能力。OpenAI 一直用留出集上的困惑度(即交叉熵损失)跟踪这一「智能底座」。他认为 AI 参与预训练算法研究可能带来阶跃式加速,而对齐和监控的进展未必跟得上。
权威 Benchmark 与实测跑分对比
官方公开的内部代码库留出集 log-perplexity:GPT-3.5 约 0.99,GPT-4 约 0.91;低于 0.8 后出现网络安全和数学方面的变革性能力,约 0.76 的模型开始产出突破性数学结果。文中预计约 0.68–0.7 区间会出现新的能力,并称 2026 年曲线明显加速。
开发者实战落地与开箱指南
这不是产品发布,对 API 没有直接影响。核心提议是:前沿实验室按困惑度等指标设定共同上限,在监控能力达到具体里程碑前不越过。其他实验室是否响应官方未公布。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察