零人工标注步骤准确率从 48.2% 飙至 74.7%！LeanPRM 用形式化证明器锻造过程奖励模型，康奈尔 CPLM 滑窗逼平全注意力

核心背景与行业痛点

当前大语言模型在攻克奥赛级（IMO）长篇数学证明与超长上下文信息检索时，受制于两个长期被忽视的底层瓶颈：第一，在复杂数学推演中，模型可以写出长达数页的自然语言证明，但由于开放式证明没有唯一的最终数值答案（Final Scalar Answer），传统的基于结果奖励（ORM/RLVR）难以为继；而训练过程奖励模型（PRM）若依赖人工逐行标注（如 OpenAI 的 PRM800K）则成本高昂且难以检验高阶数学错误。第二，在基础架构层面，业界普遍默认 Transformer 天然擅长从上下文中“复制粘贴（In-Context Copying）”代码标识符或长文档事实，但康奈尔大学的最新理论分析表明，标准语言模型输出头（LM Head）在同时承担通用语义预测与精确 Token 复制时存在严重的梯度瓶颈（LM Head Gradient Bottleneck），导致滑动窗口注意力模型在缩减窗口时困惑度急剧恶化。

架构亮点与底层机制

今日发布的 LeanPRM（arXiv:2610.17697）与康奈尔大学的 Copy-Paste Language Models (CPLMs)（arXiv:2610.19247），分别从形式化内核锚定监督与双路径输出头架构给出了创新解法：

• LeanPRM：由 Lean 4 形式化证明助手驱动的零人工步骤标注管线：让生成模型在无 Lean 交互反馈的情况下，同步撰写一段自然语言证明及其步骤一一对齐的 Lean 4 形式化代码；随后交由确定性的 Lean 4 编译器逐行校验，并引入第二个判别模型专门剔除仅由形式化语法格式错误（Syntactic Errors）导致的报错，确保最终保留的负样本标签 100% 对应真实的数学逻辑谬误。由此全自动构建出包含 10,634 篇完整证明、152,000 个步骤级正负标签且零人工标注的 LeanPRM 数据集。
• CPLM：打破 LM Head 梯度瓶颈的轻量级复制粘贴头：在常规语言模型预测头旁并联一个极轻量的 Copy-Paste (CP) Head（显式建模 <copy> 门控与上下文源位置分布），为上下文复制提供一条绕过主词表投影矩阵的独立梯度传播通路（Alternative Gradient Path）。该设计仅引入约 ~3% 的微弱计算开销，不仅提升了预训练收敛效率，更让局部滑动窗口模型（Sliding-Window LMs）无需穿插昂贵的全注意力层即可直接跨越整个上下文窗口精准提取历史 Token。

权威 Benchmark 与实测跑分对比

• LeanPRM 在 0.6B–8B 全尺度碾压 PRM800K（arXiv:2610.17697）：在包含 200 篇高难留出证明的 LeanPRM-Bench 上，基于 LeanPRM 训练的 Qwen3-4B 验证器将精确步骤标签准确率从基座的 48.2% 大幅拉升至 74.7%，而使用人工标注标杆数据集 PRM800K 训练的同基座模型仅达 60.3%（LeanPRM 领先 +14.4 个百分点）。在外部权威验证基准 Hard2Verify、IMO-GradingBench 及其他 4 项外部测试中的 3 项上，从 0.6B 到 8B 的全尺寸 LeanPRM 验证器均全面击败 PRM800K，并在 IMO 级难题的 Best-of-$N$ 证明优选中显著提升最终证明正确率。
• CPLM 跨尺度预训练与 4 倍长度外推实测（arXiv:2610.19247）：在从 135M 到 1.7B 参数的多尺度从头预训练（95k 步）中，CPLM 在 HellaSwag、PIQA、SciQ、ARC、WinoGrande 上全面超越同规模标准 Transformer（平均零样本准确率提升 +0.4 ~ +0.9 分），在重度依赖上下文复制的 LAMBADA 基准上更暴涨 +2.5 ~ +4.0 分（且在非复制 Token 上的负对数似然 NLL 同样全面下降）。在滑动窗口实验中，CPLM 在 FineWeb-Edu 上降低困惑度 0.5~2 分、在分布外 FinePDFs 与 arXiv 上最多降低 15 分；窗口大小仅为 $w \simeq 128$ 的滑窗 CPLM 即可逼平全注意力标准模型的困惑度，并在 4 倍预训练长度（16K Token） 的文档外推测试中持续降低困惑度。

开发者实战落地与开箱指南

从事数学与代码形式化推理（Formal Verification & Theorem Proving）的团队可访问项目主页 https://rlafuente.com/lean-prm 获取 LeanPRM 数据合成管线与 LeanPRM-Bench 评测集，将其作为 Qwen3 或 DeepSeek 推理模型的轻量级步骤验证器（Verifier）接入蒙特卡洛树搜索（MCTS）或过程强化学习。预训练架构团队则可在自定义滑动窗口或混合注意力（Hybrid SWA）模型末层集成 CPLM 的轻量复制头，以极低的 KV 显存代价换取媲美全注意力的长文档精准召回能力。