开发中
评测方法
我们如何为 AI 编程模型打分：50 个真实任务、五个评分维度、全自动运行。
任务集：共 50 个任务
Bug 修复10 个任务
真实 GitHub issue：复现、修复、通过 CI。
功能开发10 个任务
从需求说明到带测试的可运行代码。
代码重构10 个任务
把遗留代码迁移到现代写法。
系统设计10 个任务
根据需求给出架构与代码骨架。
调试与解释10 个任务
定位根因，并用通俗语言解释。
评分维度
每个模型都会得到一个满分 100 的加权综合分。
自动化测试通过率
可读性与最佳实践（LLM 评审团）
每个任务的 Token 用量 × 厂商价格
端到端响应时间
工具集成体验（人工评估）
评测原则
同一提示词，所有模型
每个模型使用完全相同的系统提示词和任务描述，不做针对单个模型的调优。
每周重跑
完整测试集每周一运行，发布后排名自动更新。
开放任务集
全部 50 个任务将发布在我们的公开 git 仓库，任何人都可以审计或复现。
不接受付费排名
厂商不能付费影响分数、任务选择或发布顺序。
查看当前排名 →当前为基于公开评测的初始估算，实时分数即将上线