OpenAI 10 月 19 日发文,称最新模型在 COBOL、Fortran、Visual Basic、OCaml 等训练语料稀少的「低资源语言」上大幅进步,并开源评测 MultiLangBench:让模型用 20 种语言各自从零写一个兼容 SQLite 的数据库引擎。GPT-6 Astra 平均测试通过率 87.4%(GPT-5.6 Sol 为 26.8%),20 种语言里 19 种超过 83%,COBOL 仍最难,为 72.1%。另一项 COBOL 迁移评测要求把程序迁到 C++、Java、Kotlin、Python 或 Rust 并做到输出逐字节一致,GPT-6.1 Sol 低推理档 86.6%(GPT-5.6 Sol 仅 5.4%),高推理档 97.9%。以上均为 OpenAI 自测口径。
核心要点速览
- ✓MultiLangBench:GPT-6 Astra(max)20 种语言平均通过率 87.4%,GPT-5.6 Sol 为 26.8%;19 种语言超过 83%(官方口径)。
- ✓分语言提升:COBOL 10.9%→72.1%、OCaml 25.6%→85.8%、Fortran 21.4%→83.5%、Visual Basic 27.5%→89.4%。
- ✓低价档:GPT-6 Luna 平均 40.3%,每样本约 0.77 美元,比 GPT-5.6 Sol 的 3.48 美元低约 78%。
- ✓COBOL 迁移:GPT-6.1 Sol 低推理档 86.6%(GPT-5.6 Sol 5.4%),API 成本约为后者的 61%;高推理档 97.9%,接近饱和。
- ✓评测集与各语言结果已在 GitHub openai/multilangbench 开源;COBOL 迁移评测未公开。

开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价,支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
大模型写 Python、JavaScript 已经很熟练,但银行、政府和大企业的核心系统里还跑着大量 COBOL、Fortran 和 Visual Basic。OpenAI 引用的数据是:COBOL 支撑着 40% 以上的网银系统、80% 的线下刷卡交易和 95% 的 ATM 交易,Fortran 则用于天气预报和核反应堆安全分析。这些语言的公开代码和文档少,原作者往往已离职,业务规则只写在代码里,模型过去在这里表现很差。
架构亮点与底层机制
OpenAI 没有公布训练细节,只说是「最新模型」的进步,并给出两套评测。MultiLangBench 要求模型用指定语言从零写一个兼容 SQLite 的数据库引擎:输入一个数据库文件和一条 SQL,输出修改后的数据库,再用官方 SQLite 比对结果,测试改编自 SQLite 自带测试集,因此 20 种语言可以用同一把尺子衡量。COBOL 迁移评测则要求把程序迁到 C++、Java、Kotlin、Python 或 Rust,隐藏测试要求可观察输出逐字节一致,比如 COBOL 定点运算默认截断而不是四舍五入,改错就会算错钱。
权威 Benchmark 与实测跑分对比
以下均为 OpenAI 官方口径。MultiLangBench 上 GPT-6 Astra(max)平均 87.4%,GPT-5.6 Sol 只有 26.8%;COBOL 从 10.9% 升到 72.1%,Fortran 从 21.4% 升到 83.5%。GPT-6 Luna 平均 40.3%,每样本约 0.77 美元,比 GPT-5.6 Sol 便宜约 78%。COBOL 迁移上 GPT-6.1 Sol 低推理档 86.6%,GPT-5.6 Sol 仅 5.4%;高推理档 97.9%。暂无第三方复现。
开发者实战落地与开箱指南
MultiLangBench 的评测脚本、测试集和分语言结果已在 GitHub 开源,可以先看自己用的语言得分再决定选哪个模型。做遗留系统迁移时,可用 GPT-6.1 Sol 先跑低推理档拿草稿,关键模块再开高推理档;OpenAI 也强调生产迁移仍需专家审查,并按业务规则和依赖做回归测试。
即刻查看该技术对应模型与主流工具的实测差异,或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察