OpenAI 11 月 22 日发布首席科学家 Jakub Pachocki 署名文章《Perplexity and Intelligence》,首次公开自 GPT-3.5 以来模型在内部代码库留出集上的 log-perplexity:GPT-3.5 约 0.99、GPT-4 约 0.91,低于 0.8 后出现网络安全和数学方面的变革性能力,约 0.76 的模型开始产出突破性数学结果。他提议把困惑度作为跨实验室的共享指标,并设定在 AI 监控能力达到具体里程碑前不越过的共同上限。

核心要点速览

  • ✓来源:openai.com 官方文章,作者为 OpenAI 首席科学家 Jakub Pachocki,他本人在 X 上发帖介绍,Sam Altman 转发称这是 OpenAI 近期发布的最重要内容
  • ✓公开数据:内部代码库留出集 log-perplexity,GPT-3.5 约 0.99、GPT-4 约 0.91,近期模型已低于 0.8,约 0.76 的模型开始解决数学开放问题
  • ✓预测:进入约 0.68–0.7 区间时预计还会出现新的变革性能力,最早 2027 年可能出现预训练算法上的「雪崩式」突破
  • ✓提议:前沿实验室共同制定基于困惑度等指标的开发上限,在 AI 行为理解与监控达到具体里程碑(如 CoT 监控的继任方案)之前不越过
  • ✓局限:各家评测集和数据配比不同难以直接比较,CoT 推理带来的能力提升不会体现在困惑度上
OpenAI 首席科学家 Jakub Pachocki 发文《Perplexity and Intelligence》:首次公开内部预训练困惑度曲线,提议各大实验室按困惑度设定共同的安全上限
🖼️要闻配图
点击全屏高清查看
🧭

把技术选型换算成你的开发预算

40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟

🔬

深度技术解析与实战评估

核心背景与行业痛点

下游 benchmark 很快饱和,各实验室也缺少可比的统一指标。OpenAI 首席科学家 Jakub Pachocki 11 月 22 日在 X 上发帖介绍其署名文章《Perplexity and Intelligence》,称 OpenAI 决定公开更多预训练进展,以推动形成共同的安全标准。

架构亮点与底层机制

文章把现代 AI 看作在海量语料上训练「压缩器」,再用微调和强化学习激发潜在能力。OpenAI 一直用留出集上的困惑度(即交叉熵损失)跟踪这一「智能底座」。他认为 AI 参与预训练算法研究可能带来阶跃式加速,而对齐和监控的进展未必跟得上。

权威 Benchmark 与实测跑分对比

官方公开的内部代码库留出集 log-perplexity:GPT-3.5 约 0.99,GPT-4 约 0.91;低于 0.8 后出现网络安全和数学方面的变革性能力,约 0.76 的模型开始产出突破性数学结果。文中预计约 0.68–0.7 区间会出现新的能力,并称 2026 年曲线明显加速。

开发者实战落地与开箱指南

这不是产品发布,对 API 没有直接影响。核心提议是:前沿实验室按困惑度等指标设定共同上限,在监控能力达到具体里程碑前不越过。其他实验室是否响应官方未公布。

实战指南准备好将技术转化为生产力?

即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。

接着读ChatGPT dots 支持自定义指令:可在线程里规定语气和哪些操作须先经你同意,回复更快、术语更少、执行更到位
立即阅读→