小米全模态大模型 RL 扩增技术报告出炉！MiMo-V2.6 突破 100 万上下文强化学习，端到端自我进化

核心背景与行业痛点

在 DeepSeek-R1、OpenAI o 系列等前沿模型验证了强化学习（RL）对大模型逻辑与推理能力的决定性作用后，工业界正全力将 RL 推进至全模态、代码开发与长程操作系统（OS/Agent）交互领域。然而，将强化学习从简单的数学单题求解推向复杂的真实 Agent 工作流时，面临着三大物理级工程死穴：

1. 极长上下文吞吐瓶颈：真实的终端代码重构或网页浏览交互轨迹动辄数万甚至数十万 Token，传统 RL 框架在处理超过 128K 序列时显存瞬间爆炸，无法支撑上百万 Token 的超长步推演；
2. 奖励作弊（Reward Hacking）与无限膨胀：在缺乏确定性单元测试的长程开放式任务中，模型极易学会通过拉长无意义的思维链或“谄媚裁判”来骗取高分，导致推理成本飙升且失去实用性；
3. MoE 专家路由漂移失稳：在强化学习高强度的梯度冲击下，稀疏混合专家（MoE）的路由层极易发生崩塌，少数专家被击穿而大部分参数闲置。

架构亮点与底层机制

针对上述系统级难题，小米大模型团队基于自研的 Hybrid-SWA 架构构建了全套可规模化的 Agentic RL 基础设施（arXiv:2610.11959）：

1. 三大维度的 RL 算力极限扩增：

• 超大 Batch 异步训练引擎：单步优化并发吞吐 1,568 个任务样本，单步消费高达 2.7B~3.7B Token，并将稳定训练的上下文长度拉满至 1M（100 万 Token）；
• 全域混合 Agent 环境拓扑：在代码生成、跨文件工程重构、多模态视觉理解以及网安渗透四大核心领域，部署包含多种脚手架（Mix of Harnesses）的复杂对抗沙箱；
• 分组 Agentic 裁决系统（Groupwise Agentic Grading）：摒弃单一粗暴的奖励模型，采用多 Agent 协作审查，不仅精准衡量方案正确性，更显式对“冗余无用 Token”施加惩罚，引导模型学会以最短、最精炼的代码逻辑完成任务；

1. 冻结 MoE 路由器与多层防作弊盾牌：在 RL 阶段显式冻结预训练阶段收敛良好的 MoE Router 权重，杜绝路由坍缩；在奖励层建立多层校验阻断奖励黑客行为；
2. 全栈开源共享：团队宣布将训练动态日志、全套 RL 交互环境与训练框架全面开源，为学术界与工业界提供可复现的完整底座。

权威 Benchmark 与实测跑分对比

MiMo-V2.6 在涵盖代码生成、长程 Agent 操作与全模态推理的严苛评测集上展现出前沿水准：

1. 代码与 Agent 核心基准显著突破：在 SWE-bench 变体、DeepSWE 与长程系统任务中，经由大规模 RL 扩增的 MiMo-V2.6 任务解决率相比基础 SFT 版本实现跨越式提升；
2. 推理 Token 密度大幅压缩：得益于分组打分器的长度惩罚引导，MiMo-V2.6 在达到同等或更高解题成功率的前提下，平均生成的思维链与代码长度比未受惩罚的模型精简 35% 以上，大幅节省部署推理算力；
3. 百万 Token 级别极限稳定性：在跨越 1M 上下文的多轮长程强化学习迭代中，训练曲线保持绝对平滑，未发生任何一次策略崩溃或梯度爆炸。

开发者实战落地与开箱指南

小米 MiMo-V2.6 技术报告（arXiv:2610.11959）为构建企业级 Reasoning Agent 与自进化大模型提供了教科书式的落地方案。对于正在规划后训练强化学习平台的研发团队，切忌单纯增加训练步数或堆叠简单任务。架构师应当遵循 MiMo 的工程范式：在训练端引入异步高并发 Rollout 调度器，在策略端冻结 MoE 路由器以保全基础表征，并在奖励设计中将“代码正确性”与“Token 经济性”联合加权，从而在保障系统鲁棒性的同时，打造出兼具极高智商与极致推理性价比的高阶代码智能体。