AI 编程实时动态与要闻

Nous Research 开放 Hermes Agent 官方移动端 Beta:iOS 走 TestFlight、Android 走 Firebase,手机直连自己的 Gateway 审批工具、管理 Bot 与定时任务

Nous Research 在 10 月 30 日纽约 NousCon 2026 期间放出 Hermes Agent 官方手机端 Beta,并在 hermes-agent.nousresearch.com/mobile 上线报名页:iOS 通过 TestFlight 加入「Hermes Agent - Mobile」测试,Android 通过 Firebase App Distribution 加入。TestFlight 页面写明,这个 App 连接用户自己的 Hermes Gateway,可以流式聊天、审批工具调用、在任何地方管理 Bot 和定时任务。Hermes Agent 联合创始人兼首席工程师 Teknium 在 X 上确认 iPhone 和 Android Beta 已同时上线。官方未公布正式版时间和跑分。

核心要点速览

  • 入口:官方报名页 hermes-agent.nousresearch.com/mobile 同时提供 2 个平台:iOS 走 TestFlight,Android 走 Firebase App Distribution
  • 定位:TestFlight 说明写明 App 连接「你自己的 Gateway」,支持流式聊天、工具调用审批、管理 Bot 和定时任务,本身不是独立运行在手机上的新 Agent
  • 确认:Hermes Agent 联合创始人兼首席工程师 Teknium 在 X 上回复 时确认 iPhone 和 Android Beta 已在 NousCon 当天同时上线
  • 防骗:社区已有多款第三方 Hermes 手机客户端,官方 App 只认上面的报名页链接;正式版时间与跑分官方未公布
阅读全文

全模态端侧 GUI Agent 突破:阿里等团队提出 FocusGUI,Type Match 翻倍跃升至 64.2%

阿里巴巴与多所高校科研团队在 arXiv:2610.26203 中提出面向移动端与桌面全模态图形界面智能体的革新架构 FocusGUI。针对现有多模态 GUI 智能体在处理包含连续高频截图、同步音频流、交互历史与设备状态的庞大输入时,极易因信息瞬态冗余陷入“时序干扰(Sequential Distraction)”、产生复合决策错误的问题,FocusGUI 提出了基于动作充分投影与自适应信道分解的动态聚焦机制。在覆盖 29 款主流 APP、2572 个真实操作步骤的 OmniGUI 基准上,FocusGUI 将 Qwen2.5-Omni 等四大开源底座的类型匹配率(Type Match)从 31.0% 大幅翻倍提升至 64.2%,精确匹配率从 11.2% 飙升至 33.5%。

全模态端侧 GUI Agent 突破:阿里等团队提出 FocusGUI,Type Match 翻倍跃升至 64.2%

核心要点速览

  • 阿里等研究团队在 arXiv:2610.26203 中发布 FocusGUI,攻克图文声多模态 GUI Agent 普遍面临的“时序注意力涣散”痛点
  • 提出动作充分投影(Action-Sufficient Projection)与动态信道分解,自适应滤除流式会话中数秒前已过期的视觉与音频噪点
  • 在权威 OmniGUI 基准测试中(29 款真实应用,2572 交互步),将全模态底座的动作类型匹配率从 31.0% 翻倍拉升至 64.2%
  • 完全兼容 Qwen2.5-Omni、MiniCPM-o 4.5、VITA-1.5 与 Baichuan-Omni 等主流开源端侧大模型,为手机与车机端全天候语音视觉伴侣扫清障碍
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Qwen2.5-Omni⚡ MiniCPM-o 4.5⚡ VITA-1.5⚡ Baichuan-Omni-1.5🤖 FocusGUI🌐 Alibaba

远程 KV 缓存竟比 GPU 重算慢 2.8 倍?LMCache 分片异步架构将 p99 从 83.3 秒压至 0.67 秒,百度 VHA 虚拟头注意力砍半 KV 反超 MLA

针对超长上下文大模型推理中的 KV 缓存传输与显存瓶颈,今日两项重磅系统与架构研究给出突破方案:在 8xB300 节点运行 GLM-5.3(FP8 MLA)的 8 路预填充上下文并行(PCP8)实测中,研究者发现传统远程 KV 缓存会导致高命中流 p99 飙升至 83.32 秒(GPU 利用率仅 7%),通过按 PCP Rank 分片与异步加载(已合入 LMCache 上游)将读取带宽提升 6.3 倍至 10.76 GB/s、p99 暴降至 0.67 秒;百度飞桨则开源虚拟头注意力 VHA(arXiv:2610.17959),推理期零开销折叠为双 KV 头 GQA-2,在 30B-A3B MoE(500B Token 训练)上全面击败 MLA 与 GQA-4,128K RULER 暴涨 11.4 分。

远程 KV 缓存竟比 GPU 重算慢 2.8 倍?LMCache 分片异步架构将 p99 从 83.3 秒压至 0.67 秒,百度 VHA 虚拟头注意力砍半 KV 反超 MLA

核心要点速览

  • 实测揭示 8xB300 运行 GLM-5.3 (PCP8) 时,未分片远程 KV 缓存拉取(0.88s)慢于 GPU 重算(0.31s),通过按 Rank 分片 Valkey 与异步加载(已合入 LMCache)将读取带宽提速 6.3 倍至 10.76 GB/s,高命中流 p99 从 83.32 秒暴降至 0.67 秒
  • 百度飞桨提出虚拟头注意力(VHA),通过纯线性 Q Premix 与低秩 Postmix 在推理期完全折叠进 W_Q/W_O 权重,零开销化简为仅 2 个 KV 头的标准 GQA-2 架构
  • 在 500B Token 训练的 30B-A3B MoE 上 VHA 全面超越 MLA(+0.70%)与 GQA-4(+2.60%),并在 10B-A1B MoE 的 8K-128K RULER 长文评测中以 84.4 分大幅击败 GQA 的 73.0 分
阅读全文
关联模型 / 智能体 / 厂商:

破解异步强化学习策略偏差!Proximal KL 首次实现 Token 级离线重要性采样:Qwen3 实测超越 GRPO,训练提速防坍塌

在可验证奖励强化学习(RLVR)中,异步采样生成与响应复用导致严重离线策略偏差。传统 Token 级加权会导致策略梯度有偏,而序列级加权则面临方差爆炸。UIUC 与港科大团队提出 Proximal KL,数学证明在覆盖度与局部表达性条件下,完整未来 KL 积分可使近端优化器具备唯一稳态策略。实测在 Qwen3-1.7B 与 4B 上超越 GRPO 高达 2.58%,并彻底根除周期性刷新下的模型崩溃。

破解异步强化学习策略偏差!Proximal KL 首次实现 Token 级离线重要性采样:Qwen3 实测超越 GRPO,训练提速防坍塌

核心要点速览

  • 数学破局策略梯度偏差:证明未来 KL 积分使近端优化器具备唯一稳态,解耦参考策略与采样策略,告别序列级方差爆炸
  • 基准跑分全面超越 GRPO:在 Qwen3-1.7B 与 4B 的 8 项数学测试集微平均准确率提升最高达 2.58%,AIME24 pass@16 显著跃升
  • 根除周期性刷新训练崩溃:在异步多步离线复用下杜绝标准 PG 与 CISPO 常见的灾难性坍塌,以更少更新步数达到更高收敛精度
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

Hermes Agent v0.22.0 发布:免 Key 引导上手、一键本地 llama.cpp 模型、Gmail/Linear/Notion 连接器与 600 插件目录

Nous Research 于 10 月 14 日(UTC)发布开源智能体 Hermes Agent v0.22.0「Threshold Release」。新装桌面版用免费试用模型 nous/welcome 引导配置,无需 API Key;新增经 Nous tool gateway 接入 Gmail、Linear、Notion 的连接器;内置一键 llama.cpp 本地模型运行时;改为经过测试的 SemVer 稳定通道,并提供签名桌面包(含 Microsoft Store)。官方称这是史上最大更新窗口,代码量从约 106 万行精简到 69.8 万行(−34%)。

Hermes Agent v0.22.0 发布:免 Key 引导上手、一键本地 llama.cpp 模型、Gmail/Linear/Notion 连接器与 600 插件目录

核心要点速览

  • 规模:自 v0.21.0 以来约 24,200 次提交、6,080 个合并 PR、关闭约 7,180 个 issue、约 2,520 名贡献者,约为 v0.21.0 周期的 2.5 倍(Release Notes)
  • 瘦身:源码约 106 万行降到 69.8 万行(−34%),gateway/run.py 从 34,847 行降到 5,512 行;约 19 个冷门工具改为按需加载,桌面端每次调用的工具 schema 约减半,固定提示再省约 2.1k token
  • 本地模型:自动按 CPU/CUDA/Metal/Vulkan/ROCm 安装 llama.cpp(b11370),只推荐能完整放进显存的模型,目录含 Qwen3.8 27B、Qwen3.6 35B-A3B、DeepSeek V4 Flash 及任意 Hugging Face GGUF
  • 插件目录 600 个,每个固定到经过审查的 commit;Honcho、Mem0、Supermemory 等记忆后端移出核心
  • 更新提速:只重建变化部分,macOS 上 16.5 秒 vs 32.5 秒(官方口径)
阅读全文

推理算力也能滚雪球复利!GitSwarm 发布:基于 Git 分支与原子提交解锁分布式复合推理

在攻克前沿数学猜想、自动化软件重构与跨学科科研发现等长程复杂任务(Long-Horizon Problem Solving)时,人类科研团队的成功依赖于认知成果的‘跨轮次复利累积’:失败的尝试、部分的推导与中间实验数据均能作为持久资产被后续同伴审视、分叉与整合。然而,现有的推理期扩展(Test-Time Scaling)范式几乎完全局限于孤立的单条探索轨迹(如 Monte Carlo Tree Search 或 Best-of-N 采样),各条路径彼此隔绝,中间算力成果在失败时被全盘丢弃,无法实现知识复利。学术研究团队在最新研究(arXiv:2610.04862)中正式提出了‘复合推理(Compounding Inference)’理论与开源系统 GitSwarm。GitSwarm 首次将开发者熟悉的 Git 版本控制协议深度改造为多智能体底层协作中枢:同构 Agent 群自主决定如何推进任务,并在共享且可自由分叉的 Git 仓库中通过‘原子提交(Atomic Commits)’固化中间产物,通过语义依赖追踪(Semantic Dependencies)跨分支提取经验并验证合成新方案。在数学竞赛 IMOProofBench-Advanced 极限压测中,GitSwarm 驱动 GPT-5.5 在单次运行中以 100% 的成功率全通全部 30 道高难难题;在复杂程序生成基准 ProgramBench 上达成 79.4% 平均得分(大幅碾压同期最强基线的 65.1%),论文已正式公开。

核心要点速览

  • 提出‘复合推理(Compounding Inference)’新范式与 GitSwarm 架构,彻底告别单分支推理算力浪费
  • 以真实 Git 仓库为协作中枢,通过原子提交、语义依赖图与分支合并实现多智能体长程认知资产累积
  • IMOProofBench-Advanced 30 道国际奥数难题单次运行 100% 全通,ProgramBench 跑分高达 79.4% 碾压基线
阅读全文
关联模型 / 智能体 / 厂商:

破解 Agent 上下文遗忘症!KAIST 提出 RunningTab:首创环境侧标签页重构工作区长程交互

在实际软件工程与知识密集型交付任务中,自主 Coding Agent 通常以‘直接工作区交互(Direct Workspace Interaction, DWI)’的范式运作:通过终端命令直接检索、读取并修改本地代码库中的海量文件。然而,随着交互步数的拉长,Agent 极易遭遇严重的上下文失忆——初期提取的子任务需求被后续的大段文件内容挤出上下文窗口,而列出但尚未打开的潜在关键文件(Candidates)以及已读取证据的追溯链条(Provenances)也会随着模型滑动上下文丢失,导致 Agent 频繁出现漏解需求、死循环甚至‘在核心需求未完成前草率交付’的严重缺陷。韩国科学技术院(KAIST)的研究团队在最新研究(arXiv:2610.10444)中提出了创新框架 RunningTab。RunningTab 颠覆了依赖 Agent 自身注意力记忆或内部草稿纸(Scratchpad)的传统做法,首创了由执行环境托管的‘环境侧动态标签页(Environment-Side Tab)’。该标签页在交互全流程中独立追踪三大要素:结构化需求待办清单(Requirements)、带文件溯源的已读内容片段(Provenances)以及已罗列但未阅读的候选文件栈(Candidates)。在 Agent 尝试交付产物时,环境侧自动触发‘完成前置校验(Finish Check)’门禁,强制验证所有需求是否闭环。在 Workspace-Bench、TheAgentCompany 和 OfficeQA Pro 三大高难度真实工作区基准评测中,RunningTab 全面碾压原生 DWI 与自反思基线,在 TCR@70 指标上实现断崖式领先,论文与相关实现现已公开发布。

破解 Agent 上下文遗忘症!KAIST 提出 RunningTab:首创环境侧标签页重构工作区长程交互

核心要点速览

  • KAIST 提出 RunningTab 框架,首创环境侧动态标签页,彻底根治 Coding Agent 长程工作区上下文遗忘缺陷
  • 独立追踪需求待办、代码证据溯源与候选文件栈三大流,配备强制完成检查门禁杜绝草率交付
  • 在 Workspace-Bench 等三大基准上大幅超越原生基线,TCR@70 评分飙升至 25.67,消融实实验证实环境托管的必要性
阅读全文
关联模型 / 智能体 / 厂商:
⚡ RunningTab⚡ Direct Workspace Interaction⚡ Workspace-Bench🤖 RunningTab-Agent🤖 Finish-Checker🌐 KAIST🌐 Hugging Face🌐 TheAgentCompany

清华 NeurIPS 2026 重磅开源 TokenRouter:解耦三循环与延迟批处理,Token 级大模型路由吞吐暴增 64 倍

随着混合专家(MoE)与大小模型协同推理技术的爆发,Token 级动态模型路由(Token-Level Routing)成为平衡生成质量与算力成本的最优解法:让小模型快速生成易词,遇到关键决策或难词时动态无缝路由至大模型。然而,现有的 vLLM、TGI 等大模型推理服务引擎均基于单模型运行设计,在面对跨模型的 Token 级频繁流转时面临严重的‘步骤去同步化(Step Desynchronization)’、批处理准入延迟激增以及异构集群开发极其繁琐的工程瓶颈。来自清华大学电子工程系 NICS 实验室的研究团队在 NeurIPS 2026 接收论文(arXiv:2610.12242)中正式开源了高性能服务系统 TokenRouter(代码:github.com/thu-nics/TokenRouter)。TokenRouter 提出了‘以请求为中心编程、以模型为中心执行’的创新范式,开发者仅需以单请求视角编写简洁的路由逻辑,底层系统则负责将其解耦为异步协作流。系统引入了基于离散时间马尔可夫链数学建模的‘延迟批处理调度器(Delayed-Batching Scheduler)’,配合‘解耦三循环(Decoupled Tri-Loop)’与毫秒级移交恢复机制(Handoff-Resume),在多种主流路由算法与异构模型组合上实现了比现有前沿系统高出 2.01 倍至 64.15 倍的解码吞吐量提升,官方代码现已开源。

清华 NeurIPS 2026 重磅开源 TokenRouter:解耦三循环与延迟批处理,Token 级大模型路由吞吐暴增 64 倍

核心要点速览

  • 清华大学 NeurIPS 2026 开源 TokenRouter,专为 Token 级大模型动态路由打造的高性能服务架构
  • 首创以请求为中心编程与延迟批处理调度器,在多种负载下实现 2.01 至 64.15 倍解码吞吐量暴增
  • 解耦三循环与极速移交恢复机制将 P99 词间延迟降低 43.6%,助力企业推理算力成本缩减 50%~70%
阅读全文
关联模型 / 智能体 / 厂商:

小米全模态大模型 RL 扩增技术报告出炉!MiMo-V2.6 突破 100 万上下文强化学习,端到端自我进化

强化学习(RL)已被公认为大语言模型由被动记忆迈向自主推理与自我进化的核心范式,然而在超长上下文与异构智能体交互中扩展强化学习算力依然面临巨大的工程与收敛瓶颈。小米大模型核心团队(Xiaomi LLM-Core Team)最新公布了重磅技术报告与全模态模型家族 MiMo-V2.6(arXiv:2610.11959)。MiMo-V2.6 依托预训练阶段的 Hybrid-SWA 架构,在强化学习阶段实现了空前的三维算力扩增:其一,采用异步流水线吞吐,单步训练能够支撑高达 1,568 个并发样本和 2.7~3.7B Token,训练上下文长度一举突破 1M(100 万 Token);其二,在代码、通用、视觉与网络安全等多维度构建了混合 Agent Harness 环境;其三,首创分组 Agent 打分器(Groupwise Agentic Grading),引导模型输出更高密度、更短更省 Token 的优质解。针对大规模 RL 极易出现的奖励黑客(Reward Hacking)与专家坍塌问题,团队创新性地冻结了 MoE 路由器并构建多层防御网,成功攻克万亿级 Token 强化学习的稳定收敛难题,并全面开源其训练动态、RL 环境与框架。

核心要点速览

  • 小米大模型团队发布 MiMo-V2.6 全模态技术报告,突破单步 3.7B Token、100 万(1M)上下文的极限 RL 算力扩增
  • 首创分组 Agent 打分器(Groupwise Agentic Grading),攻克长程奖励作弊并使生成代码精简 35% 以上
  • 创新冻结 MoE 路由器阻断专家坍塌,并全量开源训练动态、环境拓扑与 RL 训练框架
阅读全文
关联模型 / 智能体 / 厂商:

Nous Research 完成 9000 万美元 B 轮、估值 15 亿美元:MIT 开源 Hermes Agent 被克隆 2400 万次,正式押注企业版

10 月 7 日,开源 Agent Hermes 的开发商 Nous Research 确认完成 9000 万美元 B 轮融资,估值 15 亿美元,由 Robot Ventures 领投,NVIDIA、微软 M12、三星、USV、Y Combinator、Menlo 等参投,累计融资 1.58 亿美元。官方称 Hermes Agent 已被克隆超 2400 万次、约占全球 2.5% 的 Token 用量(内部估算)。新资金将用于 Hermes for Businesses:团队版共享额度与技能库,企业版可部署在自有基础设施并支持 SSO 与 SLA,另将推出移动 App。

Nous Research 完成 9000 万美元 B 轮、估值 15 亿美元:MIT 开源 Hermes Agent 被克隆 2400 万次,正式押注企业版

核心要点速览

  • 融资:B 轮 9000 万美元、估值 15 亿美元,Robot Ventures 领投,累计融资 1.58 亿美元(TechCrunch)
  • 规模:Hermes Agent 克隆超 2400 万次,约驱动全球 2.5% 的 Token 用量(Nous 内部估算,未经第三方核实,官方说明)
  • GitHub:NousResearch/hermes-agent 约 25.2 万 Star、5.4 万 Fork,MIT 许可,最新版本 v2026.9.24(GitHub,2026-10-08 查询)
  • 收入:据 WSJ 报道,9 月中年化收入约 3600 万美元,预计年底前突破 1 亿美元
  • 企业化:团队版共享余额 + 成员额度上限 + 团队技能库;企业版跑在客户自有基础设施,含 SSO、SLA(Hermes Business)
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

不叫自到还会读心?KAIST 等确立主动智能体 3T 原则:开源 Proactivity-Gym,揭露过度干预引发信任崩塌

当前绝大多数大模型智能体仍处于“被动响应(Reactive)”阶段——必须等待用户下达明确指令才开始执行。随着算力成本降低与持续驻留系统的普及,能够利用空闲计算资源、在用户开口前主动预测需求并执行辅助的“主动智能体(Proactive Agents)”正迅速成为人机协作的下一个竞争焦点。然而,主动并不等同于擅作主张;即使智能体自主执行的任务结果百分之百正确,一旦介入时机不当或打扰用户当前心流,就会带来极大的审核认知负担,甚至引发毁灭性的用户信任崩塌。韩国科学技术院(KAIST)与明尼苏达大学团队在最新研究(arXiv:2609.37267)中,首次系统性奠定了主动智能体的理论基石,确立了任务能力(Task Capability)、时间分配(Temporal Allocation)与用户信任(Trust)三大联合核心原则(3T 原则)。团队同步开源了多天状态交互评测基准 PROACTIVITY-GYM,涵盖状态化虚拟环境与角色化模拟用户。在一项包含 30 名真实人类受试者的严格实验中,研究揭示:人类用户在遭遇非预期打扰时信任度会断崖式暴跌,但绝大多数用户高度欢迎智能体在人类睡眠或休息时段(Sleep-Time)开展主动异步辅助。

核心要点速览

  • 奠定主动智能体(Proactive Agents)理论基础,提出任务能力、时间分配与用户信任构成的 3T 联合核心原则
  • 开源多日跨会话仿真评测靶场 PROACTIVITY-GYM,涵盖状态化虚拟环境与多重人格模拟人类测试器
  • 30 人纵向实验揭示时机错位的主动干预会导致信任雪崩,实证夜间静默算力(Sleep-Time Compute)是用户满意度最高的主动模式
阅读全文
关联模型 / 智能体 / 厂商:

无需专属动作模型!UIUC 等开源 MotorMind:通用 VLM 零样本操控机械臂,真实 xArm6 抓取胜率达 95%

传统的具身机器人操控严重依赖专用的视觉-语言-动作模型(VLA),其不仅训练成本极高且在陌生环境中的零样本泛化能力极差,更完全无法直接享受到通用多模态大模型(VLM)快速迭代的技术红利;而近期的 Agent 方案则过度依赖庞大的代码生成器或 SAM3 等外部目标分割工具,系统极度臃肿。UIUC 与 CMU 联合团队推出了颠覆性的机器人外壳框架 MotorMind(arXiv:2609.38078):核心思想是“能否让通用 VLM 如同人类远程操作员一般,直接从视觉观察推演动作并自适应调整?”MotorMind 创新设计了连接 VLM 建议的中阶动作(Mid-Level Actions)与确定性控制器的调度外壳,配合异步闭环监控与后台工作记忆更新。在无需任何特定任务训练、代码生成或外部分割模型的纯零样本条件下,在权威基准 LIBERO-PRO 上斩获 66.7% 成功率(基线仅 13.3%),并在真实的 xArm6 实体机械臂上达成 95% 的超高实战胜率。

无需专属动作模型!UIUC 等开源 MotorMind:通用 VLM 零样本操控机械臂,真实 xArm6 抓取胜率达 95%

核心要点速览

  • 彻底摆脱 VLA 专用微调、代码生成智能体与 SAM3 外部重型分割工具的束缚,实现通用 VLM 纯零样本操控
  • 提出中阶动作表征(Mid-Level Actions)配合异步监控与后台记忆更新,实现人类远程遥控般的自适应纠错
  • LIBERO-PRO 基准成功率飙升至 66.7%(前代方案仅 13.3%),真实 xArm6 实体机械臂抓取测试胜率高达 95%
阅读全文

推理架构终极定制!IST Austria 提出分离量化 DQ:解耦 Prefill 计算与 Decode 带宽,TTFT 暴提 1.78 倍

大语言模型(LLM)的预填充(Prefill)与解码(Decode)阶段对底层硬件提出截然相反的要求:Prefill 是典型的计算密集型,依赖超低精度算术核心(如 FP4/INT4)快速吞吐长 Prompt;而 Decode 是典型的显存带宽受限型,需要紧凑的超低比特权重(如 2-3 bit Weight-Only)减少每次访存延迟。然而传统的全流程统一量化方案迫使两者相互妥协,导致性能与精度双重折损。来自顶尖系统团队与 IST Austria 的重磅研究《Disaggregated Quantization: Specializing LLM Prefill and Decode》(arXiv:2609.26333)开创了“分离量化(DQ)”体系:为 Prefill 与 Decode 定制各自独立的计算格式、量化权重与物理存储布局。针对单卡显存受限场景,创新推出卸载式分离预填充(ODP),通过 NVMe SSD 异步流式加载 NVFP4 预填充权重,在 llama.cpp 与 8K 长文本上将 Qwen3.8-27B 首 Token 生成延迟(TTFT)暴降 1.78 倍,并在 vLLM 分布式环境中验证了高达 2.8T 参数超大规模模型的完美兼容性。

推理架构终极定制!IST Austria 提出分离量化 DQ:解耦 Prefill 计算与 Decode 带宽,TTFT 暴提 1.78 倍

核心要点速览

  • 首创打破统一量化妥协的分离量化架构(Disaggregated Quantization),分别针对 Prefill 算力与 Decode 带宽定制
  • 提出 ODP 异步 SSD 流式权重加载,在 8K Prompt 下推动 Qwen3.8-27B 首 Token 延迟缩短 1.78 倍(TTFT 加速 78%)
  • 结合 NVFP4 Prefiller 在保持 2-3 bit Decode 极小显存占用的同时,MMLU-Pro 准确率暴涨 32.5 分,适配达 2.8T 模型
阅读全文

彻底告别单线程阻塞!异步大模型智能体框架开源:协程化推理与重叠状态共享,Qwen 3.x 零微调通吃并发流式交互

当前绝大多数大模型智能体均局限于“读输入 $\to$ 思考 $\to$ 回复/调工具 $\to$ 阻塞等待”的串行周期循环。然而在现实世界中,语音双工通话、具身机器人感知与系统级日志监控等真实场景均是高并发的非串行事件流:智能体在深入思考或执行耗时任务时,外部环境仍在持续产生新输入与中断事件。由独立 AI 研究团队推出的全新异步大模型智能体运行时框架打破了这一阻塞锁死困局:通过将大模型推理泛化为带有重叠内存状态的“推理协程”(Inference Coroutines),赋予智能体真正的非阻塞并发调度与异步事件监听能力。令人振奋的是,研究证实主流的开源 Qwen 3.x 系列模型无需任何任务专有微调,即可在零样本下通过协程机制从容应对长视频流式解析、实时电子游戏交互与系统并发监控等多源复杂任务,为下一代实时全自主 Agent 拓宽了底层边界。

彻底告别单线程阻塞!异步大模型智能体框架开源:协程化推理与重叠状态共享,Qwen 3.x 零微调通吃并发流式交互

核心要点速览

  • 单线程阻塞向非阻塞协程跃迁:首个将现代语言模型执行流抽象为带内存共享状态的异步协程运行时,彻底破除“一次只能做一件事”的串行智能体瓶颈。
  • 开源基座无需微调的原生并发力:实测 Qwen 3.x 系列在未进行任何任务专项微调的前提下,天然具备理解并协调多协程并发状态的能力,零成本解锁流式并发。
  • 覆盖音视频流、实时博弈与系统监控:在流式视频多目标跟踪、高频游戏交互以及高负载系统异常监控等真实非阻塞场景中,展现出毫秒级的中断响应与并发稳态。
阅读全文
关联模型 / 智能体 / 厂商:

连续深度批处理(CDB)问世:攻克循环大模型动态退出与 GPU 拼批瓶颈,实测榨干 99% 理论推理加速比

循环神经网络与共享层循环大模型(Looped LMs)支持简单 Token 少循环、复杂 Token 多循环的深度自适应推理,但变长层数导致标准 vLLM 等拼批系统彻底失效。慕尼黑工大与帝国理工学者提出“连续深度批处理”(Continuous Depth Batching, CDB)。通过循环步间动态重组批次、循环 KV 缓存管理以及基于置信度的提前退出异步预测,实现在单一 GPU 内多序列并发执行不同循环深度,在 Ouro 和 Huginn 模型上榨干高达 99% 的理论上限加速比。

连续深度批处理(CDB)问世:攻克循环大模型动态退出与 GPU 拼批瓶颈,实测榨干 99% 理论推理加速比

核心要点速览

  • 攻克循环大模型无法拼批痛点:循环架构模型虽能按需为 Token 分配计算深度,但因各序列循环次数不一,导致无法直接送入传统 Tensor 并行或固定 Batch 流水线;CDB 首次建立步间连续拼批范式。
  • 步间重组与异步退出预测:在循环层执行步之间建立动态调度器,实时回收已满足退出条件的序列并插拔新请求;通过置信度前瞻预测器提前异步准备下一组 Batch,消除 GPU 气泡。
  • 逼近理论加速极限:在开源 Ouro 1.4B 与 Huginn 3.5B 循环模型上的测试显示,CDB 实现了理论估算最大推理加速比的 99%,彻底扫清循环推理模型走向生产级高并发部署的工程阻碍。
阅读全文
关联模型 / 智能体 / 厂商: