AI 编程实时动态与要闻

NVIDIA 开源机器人数据引擎 Flora:三款模型给机器人视频自动打标签和奖励,官方称成本约为 GPT-6 Astra 的 1/125

10 月 20 日,NVIDIA GEAR 实验室(Jim Fan 团队)开源 Flora 模型套件,把人类和机器人操作视频转成带时间戳的动作描述、过程奖励、结果奖励和评分细则。套件含 Flora-Captioner 27B、Flora-Rewarder 27B(均基于 Qwen3.5-27B)和 Flora-TempSeg 9B(Qwen3.5-9B 上的 LoRA),权重已上 Hugging Face,采用 NVIDIA 非商用许可。官方称它是训练 GR00T 的内部数据引擎,每天在 512 张 GB300 上标注 20 万小时视频,标注质量与 GPT-6 Astra 相当,成本约低 125 倍。

NVIDIA 开源机器人数据引擎 Flora:三款模型给机器人视频自动打标签和奖励,官方称成本约为 GPT-6 Astra 的 1/125

核心要点速览

  • 三款模型分工:TempSeg 9B 切分动作片段,Captioner 27B 为每段写一句动作指令,Rewarder 27B 输出逐步过程奖励和整段成功分
  • 成本(官方估算):8 卡 GB300、按每 GPU 小时 10 美元计,每小时源视频标注约 0.72 美元;GPT-6 Astra 最高推理档约 88.49 美元,约 122–125 倍差距
  • 质量(官方 50 段内部评测):Flora 57.1%,GPT-6 Astra 53.7%;DenseRewardBench 失败召回 53.3%,前沿 API 模型多在 1% 以下
  • 规模:官方称每天在 512 张 GB300 上标注 20 万小时视频,用于训练 GR00T-2
  • 许可:NVIDIA OneWay Noncommercial,仅限非商用研究,官方明确不支持商用或生产部署
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Flora-Captioner 27B⚡ Flora-Rewarder 27B⚡ Flora-TempSeg 9B⚡ Qwen3.5-27B⚡ GPT-6 Astra⚡ GR00T-2🌐 NVIDIA🌐 Qwen🌐 OpenAI🌐 Hugging Face

零人工标注步骤准确率从 48.2% 飙至 74.7%!LeanPRM 用形式化证明器锻造过程奖励模型,康奈尔 CPLM 滑窗逼平全注意力

针对大模型数学证明缺乏步骤级验证标签与上下文精确复制存在 LM Head 梯度瓶颈的两大难题,今日两项基础研究给出突破:NYU/UCLA/Stanford 联合推出 LeanPRM(arXiv:2610.17697),利用 Lean 4 证明助手自动构建含 10,634 篇证明与 15.2 万个步骤标签的零人工标注数据集,将 Qwen3-4B 步骤验证准确率从 48.2% 拉升至 74.7%(远超 PRM800K 的 60.3%);康奈尔大学提出复制粘贴语言模型 CPLM(arXiv:2610.19247),以仅约 3% 算力开销打破 LM Head 梯度瓶颈,使窗口仅 w=128 的滑窗模型追平全注意力困惑度并在 4 倍外推长度(16K)持续收益。

零人工标注步骤准确率从 48.2% 飙至 74.7%!LeanPRM 用形式化证明器锻造过程奖励模型,康奈尔 CPLM 滑窗逼平全注意力

核心要点速览

  • LeanPRM 利用 Lean 4 证明器与语法错误过滤模型,全自动构建含 10,634 篇证明与 15.2 万个步骤标签的零人工标注过程监督集
  • 基于 LeanPRM 训练的 Qwen3-4B 验证器在 LeanPRM-Bench 上将步骤准确率从 48.2% 提升至 74.7%(大幅领先 PRM800K 训练的 60.3%),并在 Hard2Verify 与 IMO-GradingBench 上全尺寸领先
  • 康奈尔大学 CPLM 仅增加约 3% 计算开销打破 LM Head 梯度瓶颈,在 LAMBADA 上提分 2.5~4.0 分,且仅用 w=128 滑窗即可追平全注意力模型的困惑度
阅读全文
关联模型 / 智能体 / 厂商:

具身导航递归自进化!上海 AI Lab 提出 RSI-Nav:策略同步双向自举,零人工标注刷出 R2R-CE 68.6% 成功率新 SOTA

视觉语言导航(VLN)严重依赖高质量自然语言指令,但人工标注昂贵且静态合成数据易与演进中的策略发生分布偏移。上海 AI 实验室、清华与上交大团队提出 RSI-Nav,在单一模型内统一‘看图走位’与‘看轨迹写指令’双向能力,采用分片式(shard-wise)边合成、边验证、边更新机制,实现在连续环境 R2R-CE 达 68.6% 成功率,RxR-CE 达 72.4%,开创具身智能递归自进化新路径。

具身导航递归自进化!上海 AI Lab 提出 RSI-Nav:策略同步双向自举,零人工标注刷出 R2R-CE 68.6% 成功率新 SOTA

核心要点速览

  • 双向能力单模型统一:在同一端到端基座中同时实现视觉语言动作导航(VL2A)与视觉轨迹指令生成(VA2L),彻底摆脱多模型依赖
  • 分片式动态同步更新:对无标签轨迹按小分片自生成、自主执行打分过滤并立即梯度更新,彻底杜绝静态数据滞后与策略偏移
  • 连续环境连续斩获 SOTA:在连续空间具身基准 R2R-CE 达到 68.6% 成功率,RxR-CE 达 72.4%,空间推理与语言生成效用同步跃升
阅读全文

腾讯混元开源 LifeSearch:首个真实生活与复杂生产力 Deep Research 智能体基准,4500小时人图标注揭示顶尖模型最高仅 63.4%

当前 Deep Research 智能体评测大多局限于学术科研与合成问答,难以反映真实日常决策与复杂工作流。腾讯混元团队推出 LifeSearch 基准,涵盖 7 大生活生产力领域的 203 个中英文真实任务,投入逾 4500 小时专家标注提炼 4000+ 条细粒度评分规则。实测 12 款主流深度研究智能体显示,顶尖模型最高仅获 63.4% 分数,暴露长程网页搜索、多源冲突时间线融合等关键短板。

腾讯混元开源 LifeSearch:首个真实生活与复杂生产力 Deep Research 智能体基准,4500小时人图标注揭示顶尖模型最高仅 63.4%

核心要点速览

  • 首创真实生活与生产力评测集:覆盖旅游规划、医疗消费决策、商业比价等 7 大现实场景,包含 203 项来自真实种子的高难度任务
  • 4500 小时 4000+ 条细粒度规则:融合报告深度与数值、单位、日期、URL 四重硬约束,专家对齐度达 Spearman 0.89
  • 顶尖智能体天花板显现:即便是最强前沿模型综合得分也仅为 63.4%,在多源信息时效核对与长程深潜检索上仍存在巨大提升空间
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

ChatGPT Browser Annotation API 开放可扩展:自定义选区/控件,并与 WebMCP Site tools 联动给 Agent 可执行动作

OpenAI 开发者账号 @OpenAIDevs 于 2026-10-12 官宣:ChatGPT 桌面内置浏览器的 Annotations 可扩展 API(document.oai.annotation)已可自定义选区、元数据与预览控件,并与 WebMCP Site tools 搭配,让页面把「用户选中了什么」交给对话、把「站点能做什么」交给 Agent。官方文档面向 DevDay 2026 及之后的桌面端;Enterprise/Edu 需管理员策略放行。

ChatGPT Browser Annotation API 开放可扩展:自定义选区/控件,并与 WebMCP Site tools 联动给 Agent 可执行动作

核心要点速览

  • 官方入口:Annotations Extensibility + Site tools / WebMCP;API 命名空间 document.oai.annotation
  • 能力面:选区容器 / 文本拖选 / metadata(≤6 键、序列化 ≤2048B)/ request() 建议评论 / registerControls()(最多 12 控件)/ canvas registerSurface()
  • 与 Agent 分工:Annotations 把人选中的对象与反馈送进对话;WebMCP document.modelContext.registerTool 暴露站点动作;需 GPT-5.6 Sol 或 GPT-6 Sol(Luna 当前禁用 WebMCP)
  • 限制:仅安全顶级页(HTTPS/localhost);Enterprise/Edu 需策略;不支持 iframe 内工具与声明式 HTML WebMCP;Edu 无 Site tools
  • 验证帖:@OpenAIDevs/status/2109716341490106869(约 577 likes,含演示视频)
阅读全文

终结时空平滑先验限制!港科大与字节开源 FreeMatching:首创 AI 图像编辑与生成跨模态高密度特征对齐

高密度像素级特征对应匹配(Dense Correspondence Matching)是计算机视觉中光流估计、三维立体视觉以及目标追踪的基石。数十年来,传统特征匹配算法始终严格绑定在两大经典的时空物理先验之上:即物体运动的连续平滑性(Smooth Motion)与刚体几何的不变性(Rigid Geometry)。然而,随着文生图模型、图生图编辑以及参考驱动生成(Image Editing and Reference-Guided Generation, IEG)的爆发,这些传统先验被彻底颠覆——在 AI 编辑的图片中,同一主体可能经历夸张的非刚性姿态突变、剧烈的视角旋转或风格剧变,其在保持身份一致性的同时彻底打破了物理运动连续性。香港科技大学(HKUST)与字节跳动研究团队在最新成果(arXiv:2610.12421)中发布了通用高密度特征匹配框架 FreeMatching(开源仓库:github.com/luping-liu/FreeMatching)。FreeMatching 彻底摆脱了经典时空先验的束缚,创新性地将生成式大模型表征(Generative Features)与语义基础模型表征(Semantic Representations)深度融合,构建了横跨经典数据集、追踪视频与合成多场景的异构多源监督体系。配合教师引导的无标注迭代精炼机制,单个 FreeMatching 模型在极具挑战的 AI 图像编辑匹配任务中实现了特征对应质量的跨越式暴涨,并在经典基准上保持顶尖性能,更首次被证明可作为衡量图像编辑中‘主体身份保真度(Identity Preservation)’的黄金定量评测指标,官方代码已开源。

核心要点速览

  • 港科大与字节开源 FreeMatching,首创摆脱传统时空连续性先验的高密度特征对应匹配框架
  • 在 AI 图像编辑与非刚性形变任务中,端点误差(EPE)降低 42.6%,特征对齐比率(PCK)暴涨 31.8 个百分点
  • 首创高度拟合人类专家判断(r = 0.88)的主体身份保真度量化指标,代码与推理权重已全量开源
阅读全文
关联模型 / 智能体 / 厂商:

告别全量死记硬背!KAIST 提出 HAD 框架:解耦 Harness 治理与教师认知,轻量小模型 Agent 蒸馏成功率跃升

随着代码与操作智能体向端侧及边缘计算迁移,将千亿参数前沿大模型能力蒸馏至 3B~8B 级别的小语言模型(SLM Agents)成为行业迫切需求。然而,现代智能体系统均运行于包含上下文管理、工具调度与沙箱反馈的 Agent Harness(脚手架)之上。传统知识蒸馏盲目让学生模型模仿教师的全量 Token 输出,把本应由 Harness 承担的状态追踪也强塞进学生模型的有限权重中,导致小模型频现“死循环”与“幻觉过载”。韩国科学技术院(KAIST AI)团队提出开创性的 Harness-Aware Distillation(HAD,arXiv:2610.02858)。HAD 重新定义智能体蒸馏目标:精准剥离 Harness 已提供的确定性信息,专注于教师模型“超越 Harness 的核心动作偏好”;配合动作偏好对比学习与基于 Harness 状态日志的有效性校验,在无需任何外部任务奖励(Reward)或成功标签的前提下完成高质量自适应蒸馏。实验证明,HAD 训练出的 SLM 显著减少了无意义的无效循环调用,错误自愈能力大幅提高。

核心要点速览

  • KAIST 提出 HAD 框架,首次实现面向小模型智能体(SLM Agents)的感知脚手架(Harness-Aware)知识蒸馏
  • 解耦 Harness 状态管理与教师高阶决策,结合动作偏好对比学习与日志校验,完全摆脱对任务奖励与标签的依赖
  • 大幅减少智能体在长程交互中的无效死循环,错误自愈率翻倍,助力 3B~8B 轻量模型稳定驾驭复杂软件工程
阅读全文
关联模型 / 智能体 / 厂商:

解决桌面多窗口视觉死穴!苏黎世联邦理工等开源 DeskForge:1.2M 密集多模态轨迹,Qwen3.5-4B 零样本定位大涨 11.5%

随着 Anthropic Computer Use 与各种操作系统智能体(OS Agents)进入桌面工作流,如何在多应用层叠、分辨率各异以及同质化按钮混淆的复杂真实桌面场景中精准定位可操作控件,成为制约智能体长程作业的核心瓶颈。现有 GUI 训练数据缺乏受控的环境状态演化与细粒度像素级密集标注。为此,苏黎世联邦理工学院(ETH Zurich)与 IBM Research 联合推出可控桌面数据生成系统 DeskForge(arXiv:2610.02320)。该系统通过在可控沙盒中动态编排真实桌面应用,实时融合系统截图、无障碍辅助树(Accessibility Tree)与窗口几何坐标,构建了涵盖 120 万密集桌面交互观测与 1.597 亿控件实例的超大规模数据集 DeskForge-1M。在仅使用其中 20 万样本微调后,Qwen3.5-4B 等视觉语言模型在 ScreenSpot-Pro 上的定位准确率暴涨 11.51 个百分点,在 OSWorld-G 上提升 10.11 个百分点;在长流程真实任务测试中,WebArena-Infinity 通关数由 31 跃升至 50,OpenApps 成功率翻了 5 倍。项目主页与数据集已全面开放(saidgurbuz.github.io/deskforge)。

核心要点速览

  • ETH Zurich 与 IBM 推出可控桌面数据生成系统 DeskForge,融合截图、辅助树与窗口几何生成 1.2M 观测与 1.597 亿控件实例
  • 仅用 20 万样本微调即让 Qwen3.5-4B 在 ScreenSpot-Pro 准确率暴涨 11.51%、OSWorld-G 攀升 10.11%,5 大基准全面超越基线
  • 长程任务完成能力翻倍突破:WebArena-Infinity 通关数由 31 升至 50,企业级 OpenApps 任务成功率暴涨 5 倍,权重与数据全开源
阅读全文
关联模型 / 智能体 / 厂商:

告别盲盒式终态测试!NVIDIA 推出 OSWorld-Pro:首创桌面智能体全流程评测,Claude Opus 5 仅获 75.7%

随着 Anthropic Computer Use 与各类桌面自动化智能体(Computer-Use Agents, CUAs)加速接管操作系统操作,如何科学评估多步骤 GUI 交互的真实能力成为业界最急迫的命题。现有的代表性基准(如 OSWorld)主要依赖最终结果判定(Outcome-based Verification),即在 Agent 执行了数百步鼠标键盘操作后,仅检测最终文件或系统状态是否发生改变。这种“黑盒终态评估”完全掩盖了智能体在中间步骤中“如何犯错”与“为何失败”——例如因键盘输入打字错误失败,与因视觉定位不准导致鼠标误点失败,所需要的工程修复路径完全风马牛不相及。NVIDIA 研究团队推出了首个基于全流程过程解构的桌面智能体评测系统 OSWorld-Pro(arXiv:2609.24890):包含 300 多个真实系统级生产任务,将其细粒度拆解为 2,800 多个连续依赖的子目标(Subgoals),并依托 67,000 多条高质量人类专家操作注释作为基准。通过人类对齐的 LLM-Judge 对各阶段子目标达成度展开逐层量化,评测揭示即便是业界最前沿模型如 Claude Opus 5 在 OSWorld-Pro 上的得分也仅为 75.7%(低于标准 OSWorld 的 83.4%),并精准捕获了无效漫游动作与点击像素级偏移两大核心故障模式。

告别盲盒式终态测试!NVIDIA 推出 OSWorld-Pro:首创桌面智能体全流程评测,Claude Opus 5 仅获 75.7%

核心要点速览

  • NVIDIA 推出首个基于全流程解构的桌面智能体评测系统 OSWorld-Pro,拆解 300+ 任务为 2,800+ 细粒度子目标
  • 依托 67,000+ 人类专家密集注释,揭露顶尖模型 Claude Opus 5 得分仅 75.7%(低于标准 OSWorld 的 83.4%)
  • 精确定位无效漫游与鼠标像素级点击偏移两大核心死穴,彻底终结桌面智能体盲盒式终态测试
阅读全文

具身第一视角大突破!NTU 等开源 EgoTools:100 小时真实世界工具操作多模态集,Qwen3-VL 准确率跃升 10.9%

现实世界具身智能任务(从日常生活料理到专业精密工业装配)要求智能体在复杂的物理与几何约束下操作工具,并实时追踪目标物体的物理状态演化。然而现有视频大模型大多停留在表面静态描述与常规视频问答,在以工具为核心的因果推演与手-工具-物体(Hand-Tool-Object)动态空间几何感知上极度匮乏。南洋理工大学(NTU S-Lab)联合多家顶尖机构推出了首个针对第一视角真实工具使用的综合研究套件 EgoTools。该体系包含 100 小时带音频同步、密集步骤描述、重推理叙述与三维空间注记的 EgoTools-Data,以及涵盖知觉几何、步骤推进与因果推理四大维度的 1,000 道诊断评测基准 EgoTools-Bench。测试表明现有旗舰模型在工具感知锚定上存在严重盲区;而利用该数据微调可使 Qwen3-VL-8B-Instruct 准确率从 50.0% 大幅跃升至 60.9%。

具身第一视角大突破!NTU 等开源 EgoTools:100 小时真实世界工具操作多模态集,Qwen3-VL 准确率跃升 10.9%

核心要点速览

  • 全球首个针对第一视角真实物理工具操作的综合多模态研究套件与 100 小时重推理高维数据集
  • 揭露顶尖商业旗舰在第一视角工具物理锚定赛道上准确率仅 51.7% 的严重感知短板
  • EgoTools-Data 微调驱动 Qwen3-VL-8B-Instruct 综合准确率从 50.0% 大幅跃升至 60.9%
阅读全文
AD赞助内容
C
Comet@comet-ml·
👀54
🔥91

Comet Opik 2.2.84:在线评测规则原生接 Jev(OpenRouter Decisions API);队列自动化与溯源

Comet Opik 于 2026-09-29 发布 2.2.84:在线 LLM-as-a-Judge 规则可端到端调用 TypeSafe Jev(经 OpenRouter POST /api/alpha/decisions,而非 chat/completions)。布尔指标各成一道 yes/no 题,单次调用批答;概率 ≥0.5 记 1,原因字段展示 Probability: 0.93。后端新增 OpenRouterDecisionsClient(工作区 OpenRouter key + 429/5xx 重试),模型 ~typesafe/jev-latest / typesafe/jev-1.13。同步支持 Annotation Queue 自动化配置与条目 provenance;相对 2.2.83 约 8 commits / 104 files。

Comet Opik 2.2.84:在线评测规则原生接 Jev(OpenRouter Decisions API);队列自动化与溯源

核心要点速览

  • 发版:2.2.84(2026-09-29);对比 2.2.83...2.2.84 ≈8 commits / 104 files
  • 核心:PR #8540 在线评测走 OpenRouter Decisions API 调 Jev;chat/completions 会被拒
  • 计分:每条 Boolean 规则→一道 yes/no;概率 ≥0.5 → 分值 1,reason 带 Probability
  • 模型:~typesafe/jev-latest、typesafe/jev-1.13(不进常规 chat 模型 YAML 同步列表)
  • 体验:Annotation Queue 可配自动化并展示条目 provenance;另有 trace stats 读窗口与 thread_id 注册修复
阅读全文
关联模型 / 智能体 / 厂商:

亚马逊开源 Rufus-Air 后训练配方:基于 GLM-4.5-Air 打造八阶段强化学习流水线,性能超越官方发布版

亚马逊人工智能研发团队(Amazon AI,@awscloud)在 Hugging Face 与 ArXiv 正式公开了《Rufus-Air: An Open LLM Post-Training Recipe》(arXiv: 2609.29421)。面对前沿工业级大模型后训练流水线高度封闭、依赖未公开的内部教师模型蒸馏与昂贵人工标注的困局,亚马逊团队全面公开了基于智谱 GLM-4.5-Air-Base(106B 总参数、12B 激活的 MoE 架构)的八阶段全串行后训练完整配方(涵盖 SFT、数学推理 RL、编码 RL、指令对齐 RL、通用智能体、编程智能体、检索智能体与 RLHF)。所有训练流程均采用完全公开的开源组件与公开数据集,综合评测成绩全面超越智谱官方发行的 GLM-4.5-Air 权重。

亚马逊开源 Rufus-Air 后训练配方:基于 GLM-4.5-Air 打造八阶段强化学习流水线,性能超越官方发布版

核心要点速览

  • 首个针对百亿级激活 MoE 架构(106B-A12B)完全开源、可端到端复现的八阶段工业后训练配方。
  • 全流程零私有数据、零闭源大模型黑盒蒸馏,纯粹依靠开源高质量数据集与程序化可验证奖励函数驱动。
  • 确立了“奖励可信度递进(Reward Reliability Ordering)”原则:从确定性硬校验逐步演进至大模型裁判微调。
  • 综合基准全面超越智谱官方微调版 GLM-4.5-Air,在复杂多轮 Agent 编程与深搜任务上成功率提升 21.8%。
  • 完整训练阶段编排配置、奖励函数代码与分布式训练基础设施文档已在 Hugging Face 全面公开。
阅读全文
关联模型 / 智能体 / 厂商:

Comet Opik 2.2.81:打分实体可入 Annotation Queue,点击式 ClickHouse SQL 用户上线,补齐 19 家模型价目

Comet 于 2026-09-25 发布开源 LLM 可观测平台 Opik 2.2.81:打分后的实体可路由进 annotation queue;可选开启扩展自由 SQL 的 ClickHouse 用户;后端注册 19 个规范 provider 以加载模型价目;SDK 修复 Gemini usage、Mistral 流式 reasoning、dataclass slots 编码等。

Comet Opik 2.2.81:打分实体可入 Annotation Queue,点击式 ClickHouse SQL 用户上线,补齐 19 家模型价目

核心要点速览

  • 发布:2.2.81(2026-09-25),PyPI opik==2.2.81
  • 评测闭环:scored entities 路由进 annotation queues(#8462),人机标注与自动打分衔接
  • 数据面:可选 provision 扩展自由 SQL 的 ClickHouse 用户(独立 flag,#8505);find_trace_stream / find_thread_by_id 去掉 spans FINAL 以降延迟(#8533)
  • 成本:注册 19 家 canonical providers 以加载模型价目(#8548)
  • SDK:Gemini usage 无 candidates_token_count 也可接受;保留 Mistral 流式 reasoning;slots=True dataclass 按 dict 编码;opik.sh 启动超时提到 90s
阅读全文
关联模型 / 智能体 / 厂商:

CopilotKit:useFrontendTool 可选择接入 WebMCP,浏览器智能体可直接调用前端工具

Marwan Atef(@Marwan_3atef)报道 CopilotKit 产品更新:每个 useFrontendTool 可选择启用 WebMCP,浏览器智能体(如 ChatGPT Atlas)可发现并调用前端工具,而不仅是截图。沿用同一套 React API,并支持 readOnlyHint 等注解;官方博客 Introducing WebMCP for CopilotKit 已发布。

核心要点速览

  • useFrontendTool 可选择启用 WebMCP,让浏览器智能体调用前端工具。
  • 同一 React API,支持 readOnlyHint 等注解。
  • 官方博客 Introducing WebMCP for CopilotKit 已上线。
阅读全文
关联模型 / 智能体 / 厂商: