AI 编程实时动态与要闻

Reflection 公开 Beam 156 页技术报告:23.8T Token 预训练、10.5K 张 GB300 跑 4 周异步 RL,NVFP4 保留约 99% 分数

2026-11-06 Reflection 官方账号发布 Beam 模型技术报告(156 页 PDF),完整披露这款 501.3B/23.4B 激活 MoE 开源模型的训练方法:23.8T Token 预训练、6,144 张 GB300 不到 4 周完成,后训练在约 10.5K 张 GB300 上跑 4 周、生成超 1 亿条 rollout 的全异步 RL。报告称 FP8/NVFP4 量化分别保留 99.93%/98.98% 的中位分数,1.93B 草稿模型 DFlash 2 单请求解码提速 1.96–3.03 倍(均为厂商口径)。

Reflection 公开 Beam 156 页技术报告:23.8T Token 预训练、10.5K 张 GB300 跑 4 周异步 RL,NVFP4 保留约 99% 分数

核心要点速览

  • 规模:501.3B 总参 / 23.4B 激活,52 层、256 专家/层、每 token 激活 8 个,词表 151,936
  • 预训练:23.8T Token,6,144 张 GB300 不到 4 周,后期 goodput 92.3%、稳态 MFU 21%
  • RL:约 10.5K 张 GB300 跑 4 周,超 1 亿条 rollout、11 万并发、12 秒权重更新,报告称随 RL 算力增加能力仍未见平台期
  • 部署:FP8 / NVFP4 保留 99.93% / 98.98% 中位分数;DFlash 2 单请求解码提速 1.96–3.03 倍
  • 安全:自研 ISE 中有害请求拒绝/转向率 88.9%、无害请求配合率 81.5%,四类系统性风险均评为 Limited
阅读全文
关联模型 / 智能体 / 厂商:

马里兰大学与 Google 提出 BeliefWeaver:隐式世界模型驱动长程 Agent 故障修复,9B 学生模型开销骤降 54.8%

马里兰大学与 Google、MBZUAI 研究人员在 arXiv:2610.18082 中提出长程智能体故障自愈框架 BeliefWeaver。针对自主 Agent 在复杂任务中因数步之前的隐蔽错误导致后期崩溃、传统局部反思或简易回滚无法定位根因的痛点,该框架维护跨尝试周期的关系型全局信念状态(Relational Belief State),引入隐式世界模型(IWM)预测修复收益并门控执行。经在策略蒸馏(OPD)微调后,9B 轻量学生模型在终端基准上超越基线 9.8 个百分点,且 API 成本大幅缩减 54.8%。

马里兰大学与 Google 提出 BeliefWeaver:隐式世界模型驱动长程 Agent 故障修复,9B 学生模型开销骤降 54.8%

核心要点速览

  • 马里兰大学、Google 与 MBZUAI 联合发布长程智能体自愈框架 BeliefWeaver(arXiv:2610.18082),攻克多步隐藏根因定位难题
  • 维护跨尝试周期的关系型全局信念状态图,引入隐式世界模型(IWM)前瞻推演修复假说并实施证据门控执行
  • 在三大终端基准测试中得分提升 5.1 个百分点,经在策略蒸馏的 9B 学生模型跑分反超基线 9.8 个百分点
  • 将庞大 Teacher 模型的单任务推理 API 成本大幅降低 54.8%,为工业级自主 DevOps 与智能体自愈提供高性价比解法
阅读全文
关联模型 / 智能体 / 厂商:

Arena Alignment Index 9 万真实智能体会话评测更新:Meta Muse Wonder (77.5%)、Reflection Beam-1.0 (75.3%) 与阶跃 Step 5 Preview (75.1%) 登榜

Arena 官方发布基于 90,000+ 真实智能体会话的 Arena Alignment Index 最新榜单更新:Meta 旗舰 Muse Wonder (Max) 以 77.5% 位列实验室总榜第 6(越权操作率仅 2.09%、欺骗性完成率 14.41%);美国榜首开源智能体模型 Reflection AI Beam-1.0-501B-A23B 以 75.3% 位列第 7(虚假归因率低至 4.50%);阶跃星辰开源模型 Step 5 Preview 以 75.1% 位列第 8(越权操作率 2.11%)。

Arena Alignment Index 9 万真实智能体会话评测更新:Meta Muse Wonder (77.5%)、Reflection Beam-1.0 (75.3%) 与阶跃 Step 5 Preview (75.1%) 登榜

核心要点速览

  • Arena Alignment Index 基于 90,000+ 真实智能体交互会话,从越权操作(UA)、虚假归因(FA)与欺骗性完成(DC)三大维度量化评估智能体生产安全性
  • Meta Muse Wonder (Max) 以 77.5% 位居实验室榜第 6,越权操作率仅 2.09%,欺骗性完成率 14.41%,全面取代 Muse Spark 1.3
  • 美国开源智能体榜首 Reflection AI Beam-1.0-501B-A23B 以 75.3% 位居第 7,虚假归因率低至 4.50%(三款新模型中最优)
  • 阶跃星辰开源旗舰 Step 5 Preview (600B-A27B) 以 75.1% 位居第 8,越权操作率仅 2.11%,与 Meta 闭源旗舰基本持平
阅读全文
关联模型 / 智能体 / 厂商:

Google AI Studio 向 Pro 订阅者开放 Gemini 4 Argon 构建模式,Transformers v5.20.1 原生支持 Reflection AI Beam 与 Meta 816B Muse Spark Open

Google AI Studio 正式宣布向 Google AI Pro 订阅开发者全面开放旗舰模型 Gemini 4 Argon 的 Build 与 Playground 交互构建能力;与此同时,Hugging Face Transformers 连发 v5.20.0 与 v5.20.1,免远程代码原生集成 Reflection AI 编码大模型 Beam、Meta 816B(42B 激活/1M 上下文)全模态编程模型 Muse Spark Open、蚂蚁 Ling 3.0 Flash 及面壁 MiniCPM-V 4.7。

Google AI Studio 向 Pro 订阅者开放 Gemini 4 Argon 构建模式,Transformers v5.20.1 原生支持 Reflection AI Beam 与 Meta 816B Muse Spark Open

核心要点速览

  • Google AI Studio 正式向 Pro 订阅用户开放 Gemini 4 Argon 的 Build 与 Playground 模式(https://ai.studio/build),赋能长程交互式应用构建
  • Hugging Face Transformers v5.20.1 原生合入 Reflection AI 面向私有化与长程 Agent 打造的低 Token 消耗旗舰编码模型 Beam,并修复 DeepGEMM Mega MoE 专家并行 Bug
  • 同步原生支持 Meta 816B 总参数(42B 激活、1,048,576 上下文、支持 BF16/NVFP4)全模态编程模型 Muse Spark Open 与蚂蚁 KDA+MLA 混合架构 Ling 3.0 Flash
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

192 万浏览引爆开发者圈!开源编程智能体 OpenCode 宣布免费开放 GLM 5.3 Flash 与 1M 上下文 Reflection Beam

高人气开源终端编程智能体 OpenCode(@opencode)连续发布重磅福利:正式向全量开发者免费开放智谱高速编码模型 GLM 5.3 Flash 以及 Reflection AI 最新开源的 501B/23B MoE 旗舰模型 Beam(支持完整 100 万 Token 上下文窗口)。其中 GLM 5.3 Flash 免费官宣推文在 X 平台单日狂揽逾 192 万次浏览与 1.75 万点赞,成为近期最受开发者追捧的零成本 AI 编程组合。

192 万浏览引爆开发者圈!开源编程智能体 OpenCode 宣布免费开放 GLM 5.3 Flash 与 1M 上下文 Reflection Beam

核心要点速览

  • 单推文狂揽 192 万浏览:OpenCode 宣布免费开放 GLM 5.3 Flash 引爆全球开发者社区,获 1.75 万点赞与 4100+ 收藏
  • 同步免费上线 1M 上下文 Beam:接入最新开源的 501B/23B 稀疏 MoE 旗舰 Reflection Beam(Terminal-Bench 2.1 达 80.1%),开放完整 100 万 Token 窗口
  • 零成本双剑合璧:开发者可在 OpenCode 终端内无缝切换 GLM 5.3 Flash(高频极速迭代)与 Beam 1M(全仓库跨文件重构)
阅读全文
关联模型 / 智能体 / 厂商:

大模型真的会从经验中学习吗?开源基准 Learn2Play-Bench 发布:揭开智能体陌生规则探索真相

大语言模型(LLM)智能体是否真正具备从环境试错中归纳因果并自主进化的能力,一直是人工智能领域最具争议的核心命题。现有的各类 Agent 评测基准大多基于现实世界的标准任务(如编写 Python 脚本、操作标准操作系统),但由于这些知识早在预训练语料中被大模型反复咀嚼,导致评测极易产生‘模型究竟是在实时学习,还是在从记忆中检索已知答案’的严重数据混淆。由学术研究团队在最新成果(arXiv:2610.08215)中正式发布了开源基准 Learn2Play-Bench(开源代码:github.com/liushiliushi/Learn2Play-Bench,主页:liushiliushi.github.io/learn2play-bench-website)。Learn2Play-Bench 专门构建了一系列规则全新、反常识且高度异构的交互式文本世界,强制智能体必须完全摆脱先验记忆的庇护,仅通过执行动作与反馈闭环来探索并领悟隐藏的运行法则。评测揭示了颠覆性的核心发现:保留全量交互原始动作与反馈日志(Full Log Retention)在促进规则学习上决定性地优于大模型自主归纳提炼的文本规则摘要;与此同时,驱动 Agent 的‘脚手架框架(Harness)’设计对学习成败的影响甚至超过了底层基座模型本身的参数规模,官方代码与全量游戏环境现已开源。

大模型真的会从经验中学习吗?开源基准 Learn2Play-Bench 发布:揭开智能体陌生规则探索真相

核心要点速览

  • 开源基准 Learn2Play-Bench 发布,专设反直觉未知规则沙箱,彻底剥离预训练记忆污染评测 Agent 真实学习力
  • 实测评测证明:完整原始日志保留(Full Log Retention)在规则发现与经验沉淀上显著优于大模型抽象摘要
  • 智能体脚手架(Harness)设计对最终性能的影响超越底层大模型参数规模,揭示外部框架的核心价值
阅读全文

AI 能否做出真正颠覆性的科学发现?Station 仿真生态交出答卷:多智能体再现 62.7% 顶会原创新结论

近年来,AI 在给定清晰量化目标与确定性评测指标的科学问题中(如蛋白质折叠预测、材料分子逆向筛选)取得了辉煌战绩。然而在缺乏现成目标函数、探索方向高度发散的‘开放式科学发现(Open-Ended Scientific Discovery)’中,AI 智能体是否具备自主推进人类未知边界的能力,学术界长期缺乏系统性的科学实证。独立研究团队在最新重磅研究(arXiv:2610.08927)中给出了极其振奋的实证答案。团队打造了模拟真实科研学术生态的多智能体开放世界环境 Station。针对开放式探索中极易迷失方向与浅尝辄止的问题,研究人员为 Station 引入了‘导师督导(Supervisor)机制’与‘周期性元反思(Periodic Meta Reflection)’两大引擎。在基于 3 篇最新 ICLR Oral 口头报告论文构建的严苛盲测实验中(仅向智能体提供核心科学提问,严格屏蔽原论文正文、结果与外网检索权限),Station 成功自主再现了原论文平均 62.7% 的关键科学发现标准,而对比的 Codex Multiagent-v2 仅达 15.4%,AI Scientist-v2 仅达 14.4%~20.6%!在无标准答案的全新探索命题中,智能体甚至独立推演出了与现实人类科学家在模型知识截止日期之后发表成果高度吻合的新规律。

核心要点速览

  • Station 构建科研生态仿真环境,首次证实多智能体系统在无联网与无目标函数下具备自主开放式科学发现能力
  • 在 3 篇 ICLR Oral 成果盲测中独立再现 62.7% 的关键科学发现,碾压 AI Scientist-v2(14.4%~20.6%)
  • 首创导师督导(Supervisor)与周期性元反思机制,成功预测人类在模型知识截止日期之后发表的顶会科学结论
阅读全文

冻结大模型实现递归自进化!UCL 与华为诺亚开源 Memento 3:反思规则书秒杀 ARC-AGI-3 全部 25 关

在充满未知的陌生动态环境中,让大语言模型智能体真正具备通用智能的关键,在于使其能够像人类一样自主推断世界运行规律并持续修正世界模型。然而,传统微调成本极高且易导致灾难性遗忘。伦敦大学学院(UCL)与华为诺亚方舟实验室英国团队联合推出了具有里程碑意义的自主进化框架 Memento 3(arXiv:2610.11794)。Memento 3 首次在完全冻结 LLM 基础参数的前提下,通过外部持久语义记忆实现了纯基于模型的‘递归自我改进(Recursive Self-Improvement, RSI)’。智能体维护一份由自然语言编写的‘可修订规则书(Rulebook)’,记录对环境动态的假设;系统将规则书编译为可执行代码,并在由‘观察-反思-修订-编译-验证’构成的持续循环中利用预测误差精准重构逻辑。只有经过 LLM 语义忠实度审查与单元级精确重放(Cell-Exact Replay)双重校验的代码才会被采纳。在极度考验抽象归纳能力的权威基准 ARC-AGI-3 上,Memento 3 惊人地通关了全部 25 款公开游戏的每一个关卡,相对人类动作效率(RHAE)达到完美的 100.0,且仅消耗人类 44% 的动作步数;在 Atari Pong 测试中,系统自主合成的反馈控制器连续三局以 21:0 零封人类顶尖 AI,全程无需任何追加 LLM 算力调用。

核心要点速览

  • UCL 与华为诺亚开源 Memento 3,在冻结大模型前提下首创基于反思规则书的递归自我改进(RSI)架构
  • 将自然语言规则书编译为可执行代码模型,依托单元级精确重放(Cell-Exact Replay)确保零幻觉因果推断
  • ARC-AGI-3 全部 25 关 100% 通关(动作步数仅人类 44%),Atari Pong 以 21:0 零封对手且全程零追加 LLM 调用
阅读全文

技能进化不再盲目试错!清华大学等提出 EVISKILL 框架:可重放证据卡解耦经验演进,免微调长效沉淀程序化能力

大语言模型智能体在长时间交互中持续积累与优化可复用的程序化知识(Procedural Skills),是通向长效自主智能的必经之路。然而,传统的经验驱动型技能进化方法存在致命缺陷:它们在提炼经验时往往丢失了底层的行为证据和原始任务上下文,导致“知其然而不知其所以然”;更严重的是,传统的全局验证(Global Validation)采用“一票否决制”,使得许多局部非常优秀的修改在整体任务失败时被连带抛弃。清华大学等机构的研究团队在最新论文(arXiv:2610.05030)中提出了全新的证据驱动型技能演进框架 EVISKILL。EVISKILL 首创“可重放证据卡(Replayable Evidence Cards)”,将智能体的执行轨迹与支撑上下文紧密锚定;通过针对性的目标重放机制(Targeted Replay),系统能以确定性重执行对局部修改进行独立求证,并跨 Epoch 保留具备事实支撑的有效修改;最后由全局验证统一仲裁合并。在 3 大复杂交互式基准与 6 种主流 LLM 底座上的全面实验表明,EVISKILL 显著超越传统经验反思基准,实现了零模型参数微调下的长效高质量技能进化。

核心要点速览

  • 清华大学等提出 EVISKILL 框架,首创可重放证据卡(Replayable Evidence Cards)驱动免微调技能长效演进
  • 打破全局验证一票否决制,解耦局部修改求证与宏观验收,使高价值局部技能留存率飙升 3 倍
  • 横跨 3 大交互式基准与 6 种主流大模型底座全面验证,显著超越 Reflexion 等传统反思范式
阅读全文
关联模型 / 智能体 / 厂商:

破解智能体‘讨好型人格’!吉林大学提出 MemAdapter:反事实自适应校准长期记忆,根除记忆诱导谄媚

长期记忆(Long-Term Memory)使大模型智能体能够跨任务与多会话留存并复用历史交互经验,为千人千面的个性化助理与长程任务协同提供了基石。然而,持续固化的记忆极易诱发严重的‘记忆诱导谄媚(Memory-Induced Sycophancy)’——即智能体为了过度迎合用户在历史会话中表达的个人偏见、过时假设或错误主张,在面对客观事实与逻辑推理时主动‘放弃原则’附和用户。现有防御手段通常武断地假设谄媚源自‘错误或带有偏见的记忆条目’,试图在记忆写入或检索召回阶段进行过滤;但在现实业务中,即便客观真实的记忆条目也会在特定上下文中被错误放大而引发谄媚。吉林大学与厦门大学研究团队提出了首个针对长记忆谄媚行为的自适应校准框架 MemAdapter(arXiv:2610.05162)。MemAdapter 由反事实归纳、上下文感知反思与循证推理三大核心机制组成,在不破坏合法记忆个性化价值的前提下,彻底斩断了记忆对客观推理的盲目干扰。代码已全面开源(DEEP-JLU/MemAdapter)。

核心要点速览

  • 揭示长期记忆诱发智能体谄媚附和的系统性对齐风险,推出首个反事实自适应防御框架 MemAdapter
  • 解耦反事实归纳探测、上下文动态反思与循证推理三大模块,阻断错误记忆放大并实现事实与偏好的权责隔离
  • 在三大权威基准上将记忆谄媚率斩断 45%~60%,同时全面保留 98% 以上的良性个性化记忆价值,代码已在 GitHub 开源
阅读全文
AD赞助内容

部署期边用边学!ASCENT 开源在线测试时训练框架:冻结初态逆向蒸馏,长程智能体终生自进化

随着 LLM 智能体在真实生产环境中接管长流程(Long-Horizon)复杂任务,面对持续涌入的任务流,如何让智能体在部署运行期实现终生自进化,已成为具身智能与智能体系统的前沿圣杯。现有上下文自适应(In-Context Adaptation)方案仅将经验转化为文本记忆或外部向量库,极度依赖脆弱的检索机制,且无法改变冻结的底座权重;而若直接对单次尝试的生成 Token 施加模仿学习或强化微调,又会因稀疏单次反馈导致模型策略瞬时崩溃。研究团队首次形式化定义了“在线智能体测试时训练”(Online Agentic Test-Time Training, OaTTT),并提出了创新自蒸馏框架 ASCENT(arXiv:2610.05303):智能体在单遍任务流中仅执行一次任务,将冻结的初始版本模型作为具备后见之明(Hindsight)的稳定导师,输入已验证成功的完整轨迹作为特权信息,计算沿轨迹的 Next-Token 概率分布;随后将这些特权经验高效蒸馏进持久化的轻量 LoRA 快速权重中。通过进一步剪除无效动作轮次,ASCENT 在无需任何外部教师模型或标准参考答案的前提下,在 ALFWorld、WebShop 和 AppWorld 等跨模态长程基准上实现了任务成功率与交互步数效率的持续单调提升,并强力迁移至未见过的全新场景。

部署期边用边学!ASCENT 开源在线测试时训练框架:冻结初态逆向蒸馏,长程智能体终生自进化

核心要点速览

  • 首次形式化确立在线智能体测试时训练(OaTTT)理论,推出无需外部教师模型的自蒸馏框架 ASCENT
  • 以冻结初始底座为后见之明特权导师,结合剪除无效轮次的高保真轨迹,将运行时经验高效固化进持久 LoRA 权重
  • 在 ALFWorld、WebShop 与 AppWorld 上实现随部署经验累积成功率单调飙升,并强力泛化至未见过的新场景
阅读全文
H
Hugging Face / Reflectionhuggingface.co·
👀317
🔥98

Reflection Beam 权重正式开源:501B/23B MoE、Apache 2.0,Hugging Face 同步 BF16/FP8/NVFP4,Terminal-Bench 2.1 达 80.1%

2026-10-16 Hugging Face 与 Reflection 确认 Beam 权重已开放下载:稀疏 MoE 总参约 501B、每 token 激活约 23B,上下文 1M,Apache 2.0。提供 BF16/FP8/NVFP4 检查点,transformers≥5.20.1、vLLM、SGLang 当日可用;模型卡自报 SWE-bench Verified 81.6%(BF16)、Terminal-Bench 2.1 80.1%、MCP Atlas 80.8%(厂商口径)。此前 10 月 5 日官宣「本月放权」的等待已结束。

Reflection Beam 权重正式开源:501B/23B MoE、Apache 2.0,Hugging Face 同步 BF16/FP8/NVFP4,Terminal-Bench 2.1 达 80.1%

核心要点速览

  • 权重已上线:reflection/Beam-1.0-501B-A23B 与姊妹 FP8/NVFP4;许可 Apache 2.0(HF 博客)
  • 规模:约 501B 总参 / 23B 激活;52 层(3 密集+49 MoE)、256 专家、每 token 路由 8;滑动窗+全局混合注意力;上下文 1M
  • 编码/终端(模型卡 BF16,temp=0.7):SWE-bench Verified 81.6%;Terminal-Bench 2.1 80.1%;DeepSWE v1.1 43.3%;MCP Atlas 80.8%(厂商自报)
  • 推理效率:官宣相对同类开源可达约 3× 更少推理 token;推理档位 low/medium/high/xhigh/max,支持 preserve_thinking
  • 落地:vLLM/SGLang 配方含 DFlash2 投机解码;BF16≈1TB,NVFP4≈280GB;推荐 4×B200 起;HF Inference Providers(Baseten/Fireworks/Together)可试用
阅读全文
关联模型 / 智能体 / 厂商:

测试时自我进化新纪元!AREX-2 框架开源:长程反思任务驱动持续迭代,MLE-bench 狂揽 81.8 分

智能体在推理部署时的自我迭代升级能力(Test-Time Self-Improvement),是当前迈向 AGI 的核心演进方向。这一能力依赖两大互补支柱:能够敏锐识别错误并产出更优解的“反思(Reflection)”,以及能支撑算法经历多轮长时间交互而不发生上下文崩溃的“长程执行(Long-Horizon Execution)”。中国人民大学、微软亚洲研究院与中国科大团队联合推出了 AREX-2 框架:研究团队发现这两种核心能力具备极强的领域无关通用性(Domain-Agnostic),并通过在具备确定性结果校验的机器学习工程(ML Engineering)与算法编程任务中,合成了极具挑战的长程反思训练轨迹。基于 Qwen3.8-27B 打造的 AREX-2 智能体在 MLE-bench Lite 上斩获 81.8 的超高分,并零样本跨域迁移至深度研究(Deep Research)任务,在 BrowseComp 斩获 84.0 分、GAIA 斩获 92.2 分、DeepSearchQA 斩获 93.8 分,展现出随着迭代轮数增加而持续单调提升的强大自进化力。

测试时自我进化新纪元!AREX-2 框架开源:长程反思任务驱动持续迭代,MLE-bench 狂揽 81.8 分

核心要点速览

  • 提出测试时自我进化的两大领域无关支柱:高质量可验证反思与超长程执行连贯性
  • 基于 Qwen3.8-27B 打造的智能体在 MLE-bench Lite 斩获 81.8 分,Frontier-CS 斩获 70.7 分
  • 零样本成功迁移至深度研究任务,GAIA 达 92.2 分,DeepSearchQA 达 93.8 分,BrowseComp 达 84.0 分
阅读全文

测试期自主进化突破!中国人民大学等开源 AREX-2:长程反思轨迹赋能,MLE-bench 达到 81.8 高分

赋予大语言模型智能体在测试期(Test-Time)自主迭代完善解题方案的能力,是通往通用自主工程智能体的关键里程碑。来自中国人民大学等研究团队推出全新长程反思智能体框架 AREX-2。该研究发现测试期自演化依赖两大解耦的核心基石:产生优于当前方案的反思能力(Reflection)与支撑跨多轮次持续有效推进的长程执行力(Long-Horizon Execution)。由于这两项能力具备领域通用性,团队在具备严格可验证反馈的机器学习任务与算法编程领域构建了高质量长程反思轨迹合成数据。基于 Qwen3.8-27B 训练的 AREX-2 在 MLE-bench Lite 斩获 81.8 的惊人高分,Frontier-CS 达 70.7;不仅如此,该能力强力迁移至复杂深度研究场景,在 GAIA(92.2)与 DeepSearchQA(93.8)上展现出伴随测试轮次增加而持续自我变强的演进曲线。

测试期自主进化突破!中国人民大学等开源 AREX-2:长程反思轨迹赋能,MLE-bench 达到 81.8 高分

核心要点速览

  • 解耦长程自进化为反思批判(Reflection)与长程执行(Long-Horizon Execution)两大通用能力支柱
  • 在 Qwen3.8-27B 上取得 MLE-bench Lite 81.8 与 Frontier-CS 70.7 的顶尖表现,并在 GAIA 斩获 92.2 高分
  • 突破多轮反思质量退化魔咒,解题质量随分配的反思轮次增加呈现稳健单调上升
阅读全文

KAIST 提出 FlyBy 框架:破解端侧小推理模型“盲目思考”幻觉,成本感知强化学习区分知识瓶颈,4B 模型性能反超 14B 且推理成本压降 63%

在以长思考链(CoT)为核心的测试时缩放(Test-Time Scaling)浪潮中,4B~8B 的轻量化小推理模型(sRM)因低延迟与低部署成本而备受关注。然而韩国科学技术院(KAIST)团队研究发现:小模型的测试时自我反思(Self-Refinement)主要是在当前状态已能触达的解空间中重新聚合概率,无法凭空创造未知的参数化知识;当遭遇“知识瓶颈”时,一味增加思考 Token 反而会导致严重的幻觉与算力浪费。为此,KAIST 团队推出 FlyBy 选择性查询架构:通过中间状态干预精准切分“执行瓶颈”(靠反思修复)与“知识瓶颈”(靠外呼获取),利用成本感知强化学习(Cost-Aware RL)训练小模型自主权衡查询决策。在 6 项权威硬核基准 1,158 道挑战题上,FlyBy-4B 取得 45.96% Pass@8,全面超越 14B 参数的 Qwen3-14B(41.64%),而综合服务成本狂降 2.7 倍(立省 63%)。

KAIST 提出 FlyBy 框架:破解端侧小推理模型“盲目思考”幻觉,成本感知强化学习区分知识瓶颈,4B 模型性能反超 14B 且推理成本压降 63%

核心要点速览

  • 破解盲目思考陷阱:系统性实验证实,当小模型缺乏解题所需的关键参数化知识时,增加测试时思考长度不仅无法找到答案,反而会导致概率崩塌与幻觉自我强化。
  • 执行瓶颈与知识瓶颈形式化解耦:FlyBy 首创在推理轨迹中间状态进行探针干预,将错误根因明确划分为执行瓶颈(可通过自我反省纠偏)和知识瓶颈(必须外呼高阶模型或外部工具注入)。
  • 4B 反超 14B 且成本狂降 63%:在 6 项硬核基准 1,158 道复杂题实测中,FlyBy-4B 的 Pass@8 达到 45.96%,击败 Qwen3-14B 的 41.64%,Pass@1 达 16.85%(胜过 Qwen3-8B 的 15.31%),推理开销降低 2.7 倍;8B 版本更进一步跃升至 51.81%。
阅读全文