AI 编程实时动态与要闻

生成式媒体推理平台 fal 宣布 Series E 和 F 合计融资 16.5 亿美元:Sequoia、Bessemer 领投,NVIDIA 继续跟投

托管图像、视频、音频模型推理的 fal 于 11 月 3 日在官方 X 账号和博客宣布,Series E 与 Series F 两轮合计融资 16.5 亿美元:Series E 由 Sequoia Capital 领投(今年早些时候完成),Series F 由 Bessemer Venture Partners 领投,NVIDIA 继续投资。fal 官方未公布估值和各轮金额;据 Bloomberg 报道,Series F 为 13 亿美元、估值 160 亿美元,较 4 月的 80 亿美元翻倍。官方称资金将用于扩充推理算力和团队,支持 2027 年的研究与平台建设。

生成式媒体推理平台 fal 宣布 Series E 和 F 合计融资 16.5 亿美元:Sequoia、Bessemer 领投,NVIDIA 继续跟投

核心要点速览

  • 官方确认:Series E + F 合计 16.5 亿美元,Sequoia 领投 E 轮,Bessemer 领投 F 轮,NVIDIA 继续投资(fal 博客)
  • 官方未公布估值;据 Bloomberg 报道 Series F 为 13 亿美元、估值 160 亿美元,Series E 为 3.5 亿美元、估值 80 亿美元
  • 据 Bloomberg,CEO Burkay Gur 称夏天需求暴涨到不得不对客户限流,这是大额融资的直接原因
  • 资金用于推理算力和团队扩张,以及 2027 年的新研究;fal 平台托管 Seedance、Kling、Veo、FLUX 等大量第三方媒体模型
阅读全文

NVIDIA:SETI 艾伦望远镜阵列接入 AI Agent,一句自然语言即可操控天线、校准并实时分析 2.4 Tbps 射电数据

NVIDIA 官方博客 10 月 30 日披露,Breakthrough Listen 与 SETI 研究所已把 Agent 接入北加州艾伦望远镜阵列(ATA,42 面 6 米天线)的日常地外文明搜索:研究员用一句自然语言请求,Agent 就能转动天线、校准聚焦、纠正数据错误并对实时数据流跑 AI 模型。底层由 Holoscan 的 DAQIRI 库把传感器数据直接送进 GPU 显存,SETI 研究所的 CyberEther 做信号处理,Web 编排器 Nexus 充当 Agent harness,在 RTX PRO 6000 Blackwell 上本地处理最高 2.4 Tbps。系统已完成首次蟹状星云脉冲星的实时 AI 检测;团队正在评估 Nemotron 等开放模型。@NVIDIAAI 10 月 31 日万圣节帖约 274 赞。

NVIDIA:SETI 艾伦望远镜阵列接入 AI Agent,一句自然语言即可操控天线、校准并实时分析 2.4 Tbps 射电数据

核心要点速览

  • 吞吐:在 NVIDIA RTX PRO 6000 Blackwell GPU 上最高处理 2.4 Tbps 射电数据,推理在望远镜旁本地运行(NVIDIA 博客,厂商口径)
  • 三层架构:DAQIRI 把传感器数据直送 GPU 显存,CyberEther 用 cuFFT/cuBLAS 做信号处理,Nexus 作为 Agent harness 管理仪器状态、算力和流水线
  • 能力:一句自然语言即可转动 ATA 的 42 面 6 米天线、校准聚焦、修正数据错误并出图;官方称把人类数周到数年的工作压缩到数小时
  • 里程碑:完成蟹状星云脉冲星的首次实时 AI 检测;官方未公布误报率等量化指标,也没有发现地外信号
  • 下一步:评估 Nemotron 等开放模型,用于数据本地性要求高、甚至未来可能在月球背面离线运行的天文台
阅读全文
关联模型 / 智能体 / 厂商:

Cohere 完成 E 轮首次交割:目标最高 70 亿加元、估值 357 亿加元,加拿大政府最高 16 亿加元入股

10 月 29 日,Cohere 宣布 E 轮融资首次交割,目标最高 70 亿加元、估值 357 亿加元,由 Schwarz Group 领投,NVIDIA、Bell Ventures 等参与,Cohere 称这是加拿大初创公司史上最大的私募轮。同日加拿大总理 Mark Carney 宣布政府将分阶段对 Cohere 进行最高约 16 亿加元的股权投资;Cohere 承诺保留加拿大注册和总部,并在 2031 年前于加拿大投入超 40 亿加元、新增 1,500 多个岗位。

Cohere 完成 E 轮首次交割:目标最高 70 亿加元、估值 357 亿加元,加拿大政府最高 16 亿加元入股

核心要点速览

  • 融资:E 轮目标最高 70 亿加元、估值 357 亿加元,Schwarz Group 领投,Bell Ventures、Bullhound、Inovia、NVIDIA、Prosperity7 与加拿大政府参与(Cohere 博客,厂商口径)
  • 政府入股:最高约 16 亿加元,分阶段注资并定期汇报就业与投资进度,属商业投资(总理府新闻稿)
  • 政府条件:2030 年前新增至少 1,000 个技术岗、至少 17 亿加元新增算力,保留加拿大注册与总部
  • Cohere 承诺:2024–2031 年在加投入超 40 亿加元研发与基础设施,新增 1,500+ 岗位,2029 年前 250+ 个带薪学生岗位(Cohere 博客)
  • 定位:主打可私有部署的「主权 AI」和网络安全,AISLE 将并入为 Cohere Cyber;本次未公布新模型或跑分
阅读全文
关联模型 / 智能体 / 厂商:

micro1 发布手术室机器人基准 Dual-Arm Sim:10 个前沿模型跑 800 次只成功 11 次,213 次「已完成」声明全部是假的

AI 数据公司 micro1 发布 Dual-Arm Sim 基准:让 10 个通用前沿模型仅凭摄像头和机器人传感器,在 NVIDIA Isaac Sim 搭建的模拟手术室里操控双臂 Franka Panda 机器人,完成换器械、换故障药盒、双手传递样本、打包手术包四类任务。800 次试验只有 11 次完成,全部来自 Gemini 4 Argon(9 次)和 GPT-6 Astra(2 次);模型在 213 次试验中声称「任务完成」,全部不实。药盒换药任务的 200 次完整轨迹已公开在 Hugging Face。

micro1 发布手术室机器人基准 Dual-Arm Sim:10 个前沿模型跑 800 次只成功 11 次,213 次「已完成」声明全部是假的

核心要点速览

  • 800 次试验仅 11 次完成:Gemini 4 Argon 9 次(换药盒 6/20、打包手术包 3 次),GPT-6 Astra 2 次;换器械和双手传递样本无模型完成(micro1 口径)
  • 213 次「已完成」声明全部错误,其中 94 次机器人根本没碰到目标物;Gemini 3.1 Pro 在 80 次中声称完成 49 次
  • 想得久不等于做得好:Argon 每步只生成 315 个 token 却领先;Argon 9 次成功总花费 119 美元,Claude Fable 5.1 花 839 美元一次未成
  • 失手后的恢复是关键:Argon 和 Astra 约三分之二能重新抓到,Grok 4.7 在 80 次里只恢复 3 次;首次位置估计中位数偏差 33 厘米
  • 被举起的故障药盒有 14 次掉到地上、11 次掉在推车上,只有 8 次被正确替换
阅读全文
AD赞助内容

NVIDIA 开源 Nemotron 3.5 Transcribe:30B MoE 仅约 4B 激活,一个模型做 40 语种转写、说话人标注和翻译,Open ASR 英文榜开源第一

NVIDIA AI 官方账号 10 月 28 日发布 Nemotron 3.5 Transcribe,权重已上架 Hugging Face 和 ModelScope。它是可用自然语言指令驱动的离线语音模型,一个检查点同时做 40 种语言转写、31 种语言与英语互译、13 种语言的说话人标注和音频问答,可处理最长 1 小时录音、最多标注 8 位说话人。官方称它在 Hugging Face Open ASR 英文榜以 5.33% 平均 WER 居开源模型第一;Artificial Analysis 测得 AA-WER 2.8%,与 24B 激活参数的 Voxtral Small 并列开源第一。权重、Granary v2 训练数据和微调配方一并开放。

NVIDIA 开源 Nemotron 3.5 Transcribe:30B MoE 仅约 4B 激活,一个模型做 40 语种转写、说话人标注和翻译,Open ASR 英文榜开源第一

核心要点速览

  • 架构:语音编码器加 Mamba-2/Transformer 混合 MoE 语言模型,总参数约 30B(模型卡含音频编码器计为 34B),每 token 激活约 4B(模型卡为 4.3B),提供 BF16、FP8、NVFP4 版本
  • 能力:40 语种转写、31 语种与英语互译、13 语种说话人标注、音频问答(问答仅英语训练)、词级时间戳,单段最长 1 小时、最多 8 位说话人
  • 官方/第三方口径:Open ASR 英文榜开源第一(平均 WER 5.33%),多语种 7 语言平均 4.62%,长音频 10.98%;Artificial Analysis AA-WER 2.8%,语音智能体对话集 AA-AgentTalk 1.8%(次优开源 2.3%)
  • Artificial Analysis 在 DeepInfra 托管端点实测:速度因子 75 倍,1 分钟音频不到 1 秒转完,价格每 1000 分钟 2 美元
  • 许可为 OpenMDW-1.1,可商用;配套开放 Granary v2 数据和 NeMo Speech 微调工具,官方医疗案例中微调比最佳提示词再降 45.8% 相对 WER
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Nemotron 3.5 Transcribe 30B-A4B⚡ Voxtral Small🌐 NVIDIA🌐 Hugging Face🌐 Artificial Analysis

Cadence 发布 Maestro 芯片设计领域 AI 模型组合:结合 NVIDIA Nemotron 驱动 AI Super Agents,官方称质量最高提升 30%、token 效率最高 5 倍

EDA 巨头 Cadence 10 月 26 日发布 Maestro AI 模型组合,包含领域后训练 LLM、决策模型和可自我改进的 agent skills,用来驱动其 AuraStack、ChipStack、InnoStack、ViraStack 等 AI Super Agents 操作 EDA/SDA 工具。Cadence 用确定性求解器给输出打分,形成强化学习闭环。官方初步结果称相比通用基础模型质量最高提升 30%、token 效率最高 5 倍。NVIDIA 提供 Nemotron 与 OpenShell,可部署在 Cadence 云、公有云或客户本地。首批模型 2026 年第四季度向部分早期客户开放。

核心要点速览

  • Maestro 不是单个模型,而是一组领域后训练 LLM、决策模型和自我改进的 agent skills,按任务与前沿/开源模型混合调度
  • 确定性求解器和 EDA 工具对输出按工程目标与约束打分,作为强化学习反馈,形成可验证闭环
  • Cadence 口径:相比通用基础模型,质量最高提升 30%,token 效率最高 5 倍;暂无第三方评测
  • NVIDIA 提供 Nemotron 模型与 OpenShell 沙箱参考架构;客户可用自有设计数据继续后训练,支持本地部署
  • 首批模型仅在 2026 年 Q4 向部分早期客户开放;Socionext 称部署 InnoStack 预计最高 5 倍生产力提升
阅读全文

Block 发布 Dessa:只用人类对话语音从零训练的全双工语音模型,可在 MacBook Pro M4 Max 本地实时运行

2026-10-23(UTC 16:53,SGT 10-24 00:53),Block 官方账号 @blocks 发布 Dessa,Jack Dorsey 随后转发称其为「迄今最真实的全双工语音模型」。官方页面 block.xyz/dessa 介绍:Dessa 是真正的语音到语音模型,训练数据只有人类对话录音,不用文本、不用任何预训练模型;全双工,能边听边说,会自然插话和附和(“yeah!”“got it!”),推理快于实时,可在 MacBook Pro M4 Max 或更高配置上本地运行。官方称只用一套 NVIDIA GB200 NVL72 完成训练,学习语言所需的词量比 LLM 少数百倍。目前没有公开 API 或权重,只向一小批 AI 安全研究者开放早期访问。

Block 发布 Dessa:只用人类对话语音从零训练的全双工语音模型,可在 MacBook Pro M4 Max 本地实时运行

核心要点速览

  • 训练数据只有人类对话语音:无文本、无预训练模型,从零训练(官方页面)
  • 全双工语音到语音:边听边说,会插话、附和,能直接听出并表达情绪、讽刺、笑声
  • 推理快于实时,可在 MacBook Pro M4 Max 或更高配置上本地运行
  • 官方称训练只用了一套 NVIDIA GB200 NVL72,学语言所需词量比 LLM 少数百倍
  • 暂无公开 API、权重或第三方跑分;目前只向少量 AI 安全研究者开放早期访问
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Dessa🌐 Block

NVIDIA 开源 Nemotron 3.5 Bolt E4B 4GB:基于 Gemma 4 E4B 后训练的本地小模型,主打语音助手、角色与机器人对话和工具调用

2026-10-23(UTC 15:41,SGT 23:41),NVIDIA AI 官方账号 @NVIDIAAI 宣布 Nemotron 3.5 Bolt E4B 4GB 上线,定位是能对话、能调用工具的本地小模型,用于本地助手、互动角色和机器人。Hugging Face 官方模型卡显示:它由 Gemma-4-E4B-it 后训练而来,总参数 8B(有效 4B),Q4_K_M 量化,输入输出各支持最多 64K token,可开关思考模式,并提供 DFlash 推测解码草稿模型和 BF16 版本;权重、数据和训练配方开放,许可证为 OpenMDW-1.1,可商用。模型卡跑分中,4GB 量化版 MultiChallenge 55.60(Gemma4 E4B-it 同量化 39.36、Qwen3.5 4B 52.23),但 Tau2-Bench 52.32、BFCL-v3 67.31 低于 Qwen3.5 4B。

NVIDIA 开源 Nemotron 3.5 Bolt E4B 4GB:基于 Gemma 4 E4B 后训练的本地小模型,主打语音助手、角色与机器人对话和工具调用

核心要点速览

  • NVIDIA 官方发布 Nemotron 3.5 Bolt E4B 4GB,面向本地助手、互动角色和机器人
  • 基于 Gemma-4-E4B-it 后训练,总参数 8B(有效 4B),Q4_K_M 量化,64K 上下文,可开关思考模式
  • 权重、数据、训练配方开放,OpenMDW-1.1 许可可商用,附 DFlash 推测解码草稿模型
  • 模型卡跑分:MultiChallenge 55.60 领先同级,但 Tau2-Bench 和 BFCL-v3 不及 Qwen3.5 4B
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Nemotron 3.5 Bolt E4B⚡ Gemma 4 E4B🌐 NVIDIA🌐 Google

SGLang 推出 Elastic EP 与 NIXL:运行时动态伸缩 MoE GPU 集群,零停机无缝扩容

LMSYS 团队联合 NVIDIA Dynamo 团队在官方技术博客与 X(@lmsysorg)正式宣布,高性能大模型推理框架 SGLang 推出弹性专家并行(Elastic EP)与 NIXL(Near-Instant Cross-Node Link)动态伸缩后端。针对超大 MoE 架构(如 DeepSeek-V3/V4)在传统静态专家并行下因单卡硬件故障导致全集群崩溃重启、以及业务高峰期无法在线扩容的严重痛点,Elastic EP 实现了专家-GPU 映射解耦。依托 NVIDIA NIXL 高性能通信原语与 Mooncake 调度器,SGLang 首次实现在完全不中断在线推理请求的前提下,将运行中的 MoE 集群动态扩容(如从 20 卡无感扩展至 24 卡),并支持单节点故障的秒级自动降级容错。

SGLang 推出 Elastic EP 与 NIXL:运行时动态伸缩 MoE GPU 集群,零停机无缝扩容

核心要点速览

  • LMSYS 与 NVIDIA Dynamo 团队联手发布 SGLang Elastic EP,正式支持 MoE 模型在线动态扩缩容
  • 彻底破解静态专家并行(Static EP)在单节点硬件故障时全集群宕机的致命痛点,支持秒级自动容错降级
  • 集成 NVIDIA NIXL 高性能跨节点通信原语(--moe-a2a-backend nixl),支持 RDMA 与 NVLink 原生零拷贝调度
  • 实现零停机在线扩容(Live Scale-Up),集群可在持续处理生产推理请求的同时从 20 卡在线平滑扩容至 24 卡
阅读全文

VS Code 1.143 发布:基于 Copilot SDK 的 harness 成为新会话默认,新增多模型对比与本地运行 MAI Code 1.1 Flash

微软发布 Visual Studio Code 1.143:基于 Copilot SDK 的 Copilot harness 成为新会话默认,可在编辑器和 Agents 窗口间切换;Agents 窗口新增 Compare Models 预览,可让多个模型并行做同一任务并由 Judge 模型打分;实验性支持在本地 NVIDIA GPU 上运行 MAI Code 1.1 Flash,大型对话打开速度也显著提升。

VS Code 1.143 发布:基于 Copilot SDK 的 harness 成为新会话默认,新增多模型对比与本地运行 MAI Code 1.1 Flash

核心要点速览

  • 默认 harness:新会话默认使用基于 Copilot SDK 的 Copilot harness,会话可在后台运行,并在编辑器与 Agents 窗口间切换
  • Compare Models(预览):一次提示让 2 个以上模型并行尝试,可混用 Copilot、Claude、Codex harness,再由 Judge 模型给出时间和 token 用量评分,可选 Synthesize 合并方案
  • 本地模型(实验):可下载 MAI Code 1.1 Flash 在本机运行,标注 On-device 且不消耗 AI credits;要求 NVIDIA GPU 显存 96 GB 以上
  • 性能(官方口径):约 1,150 次请求的大型对话冷启动打开时间从 35.6 秒降到 9.0 秒,窗口无响应时间从 28.3 秒降到 0.6 秒
  • 其它:编辑器诊断高亮上限从 500 提到 5,000 条;Windows 安装包可选装 GitHub Copilot CLI
阅读全文
AD赞助内容

NVIDIA 集中发布 Nemotron 3.5 开源模型矩阵:涵盖超强检索、物理世界大模型与 13 倍速蛋白质设计

在 GTC Berlin 开幕主题演讲中,NVIDIA 官方集中发布了横跨多个专业垂直领域的全新开源模型矩阵。核心亮点包括:支持长文本视觉推理的 Nemotron 3.5 Super VL 与即开即用的 Bolt 系列语言模型;专为高精度 RAG 打造的 Nemotron Retriever 嵌入、重排与文档解析全套套件;面向实体工业的 Cosmos 物理世界模型;面向自动驾驶的 Alpamayo 2 Edge;以及与华盛顿大学 Baker 实验室联合开发的蛋白质生成大模型 BioNeMo RFD4-Proteina。官方实测显示,RFD4-Proteina 在 10 项以上蛋白质设计基准中斩获全球第一,在 200 个氨基酸的靶点设计上比 RFdiffusion3 提速惊人的 13 倍。

NVIDIA 集中发布 Nemotron 3.5 开源模型矩阵:涵盖超强检索、物理世界大模型与 13 倍速蛋白质设计

核心要点速览

  • NVIDIA 在 GTC Berlin 集中开源全栈垂直基础模型:包含 Nemotron 3.5 Super VL、Bolt 4GB 端侧版与 Cosmos 物理世界模型
  • 发布 Nemotron Retriever 全套套件,将企业级 RAG 检索、跨模态重排与复杂 PDF 版面解析的准确率推至行业前列
  • 与顶尖 Baker 实验室联合开源 BioNeMo RFD4-Proteina,在 10 余项蛋白质靶向结合任务中登顶全球性能榜首
  • RFD4-Proteina 生成 200 氨基酸蛋白质结构的设计速度比前代标杆 RFdiffusion3 提速整整 13 倍,大幅缩短原研药发现周期
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Nemotron 3.5 Super VL⚡ Nemotron 3.5 Bolt⚡ BioNeMo RFD4-Proteina⚡ Cosmos🌐 NVIDIA🌐 Baker Lab

Mistral 与 NVIDIA 达成工业工程 AI 战略结盟:万亿参数 Mistral Large 4 重磅前瞻曝光

欧洲前沿 AI 巨头 Mistral AI 与 NVIDIA 在 GTC Berlin 宣布达成工业工程 AI 深度战略合作,全面加速物理 AI、计算机辅助工程(CAE)与芯片设计(EDA)的智能化变革。合作将 Mistral 旗舰模型与 NVIDIA CUDA-X、Warp 物理引擎以及 Omniverse 实时数字孪生进行全链路打通。官方博客同时公布了备受瞩目的下一代旗舰模型 Mistral Large 4 的核心技术参数:总参数量接近 1 万亿(1T),激活参数为 490 亿(49B MoE),在 3800 张 Grace Blackwell GPU 集群上训练完成,模型权重定于 10 月底正式开源发布,并将联合 Nemotron 联盟共建工业基座。

Mistral 与 NVIDIA 达成工业工程 AI 战略结盟:万亿参数 Mistral Large 4 重磅前瞻曝光

核心要点速览

  • Mistral AI 与 NVIDIA 官宣战略合作,将大模型能力全面注入计算机辅助工程(CAE)、物理仿真与半导体芯片设计(EDA)
  • 深度融合 NVIDIA Warp、CUDA-X 物理加速库与 Omniverse 数字孪生平台,构建工程仿真领域的开源智能体评测与基准
  • 首次正式公开 Mistral Large 4 核心规格:约 1 万亿总参、49B 稀疏激活 MoE 架构,在 3800 张 Grace Blackwell 算力集群完成预训练
  • Mistral Large 4 官方权重定于 2026 年 10 月底全量开源发布,并宣布双方加入 Nemotron 联盟向 2030 年 1 GW 绿色算力推进
阅读全文
关联模型 / 智能体 / 厂商:

NVIDIA 官宣 OpenShell 智能体安全参考架构:硬件级隔离安全护栏,终结 Agent 越权操作隐患

在 GTC Berlin 大会上,NVIDIA 官方正式发布 OpenShell 智能体安全参考架构与全新的 Agent Knowledge Foundation 套件。针对自主 AI 智能体(Autonomous Agents)在拥有系统写权限、数据库查询与终端执行能力后,极易因提示词注入或失控执行产生越权访问机密数据、发起破坏性命令的行业痛点,OpenShell 基于硬件级隔离信任根(Hardware-Isolated Security)构建了严密的运行时安全边界。系统能够以纳秒级开销实时监控并拦截智能体跨越授权边界的工具调用与数据交互,成为企业级安全可靠智能体调度的基石标准。

NVIDIA 官宣 OpenShell 智能体安全参考架构:硬件级隔离安全护栏,终结 Agent 越权操作隐患

核心要点速览

  • NVIDIA 在 GTC Berlin 峰会重磅发布 OpenShell 参考架构,以硬件级安全隔离为自主智能体划定不可逾越的运行边界
  • 提供全生命周期运行时动态拦截机制,在智能体试图访问非授权数据库、外发敏感 Token 或执行越权脚本时实现硬核阻断
  • 无缝整合 NVIDIA Agent Toolkit 与全新的 Agent Knowledge Foundation,打通企业知识库安全鉴权与合规审计链路
  • 彻底破解企业在生产环境部署高权限 Coding Agent 与自动化运维智能体(SRE)的安全合规合流难题
阅读全文
关联模型 / 智能体 / 厂商:

NVIDIA 在 GTC 柏林发布 OpenShell 参考架构:用 Vera Rubin、Vera CPU 与 BlueField-4 Sentry 给 AI Agent 加硬件级安全边界

10 月 21 日 GTC 柏林,NVIDIA 发布 OpenShell 参考架构:以开源 OpenShell 安全运行时为基础,把 Vera Rubin 推理、Vera CPU 上的 Agent 编排与 BlueField-4 上的 NVIDIA Sentry 硅级策略执行拼成全栈,用于在企业与边缘侧构建、隔离、观测并强制约束 Agent。官方称现已可用,并列出 Anthropic、OpenAI、Meta、Microsoft、ServiceNow 等合作方;开源仓库为 Apache 2.0。

NVIDIA 在 GTC 柏林发布 OpenShell 参考架构:用 Vera Rubin、Vera CPU 与 BlueField-4 Sentry 给 AI Agent 加硬件级安全边界

核心要点速览

  • 全栈:Vera Rubin 跑模型推理,Vera CPU 跑 Agent harness/工具调用,BlueField-4 + Sentry 在硅上做策略执行与越界隔离(官方口径)
  • 厂商口径:Vera Rubin NVL72 对 Agent 负载每兆瓦吞吐约 30 倍于前代;Sentry 可在毫秒级隔离越界 Agent,并称可把 Agent 容量提升约 20%
  • 运行时层:默认拒绝、进程外强制;沙箱无直连网络,系统调用经内核过滤,凭证仅注入到策略允许的请求
  • 已声明支持 Claude Code、Codex、GitHub Copilot CLI、OpenCode、OpenClaw、LangChain Deep Agents 等;可 Docker/Podman/Kubernetes(Helm)
  • 上手:curl 安装脚本 + openshell sandbox create;文档 docs.nvidia.com/openshell;GitHub NVIDIA/OpenShell(Apache 2.0)、PyPI openshell
阅读全文

vLLM 联合蚂蚁集团开源 Humming 算子库:最高 5 倍算子加速,MoE 端到端吞吐提升 43.3%

vLLM 官方联合蚂蚁集团正式开源底层高性能量化推理算子库 Humming(humming-kernels)。该算子库专为大规模混合专家(MoE)与低精度密集模型的高并发服务而设计,全面覆盖 WnA16、W8A8、W4A8 与 W4A4 多种量化精度,横跨 INT1~INT8 与 FP4~FP8 数据格式,并原生适配从 NVIDIA Turing 到 Blackwell 架构及平头哥真武 810E 芯片。实测显示,Humming 算子在小 Batch 下比 cuBLAS 快 3~4 倍,在大 Batch 下比 Marlin 快 2 倍;在 8 张 H20 GPU 上运行 DeepSeek-V4.1-Flash,64 并发下整机端到端吞吐暴增 43.3%,首字时延(TTFT)大幅降低 32%,现已作为默认引擎整合至 vLLM v0.29.0+ 中。

vLLM 联合蚂蚁集团开源 Humming 算子库:最高 5 倍算子加速,MoE 端到端吞吐提升 43.3%

核心要点速览

  • vLLM 与蚂蚁集团联合开源 Humming 高性能算子库(Apache 2.0),现已原生内置于 vLLM 0.29.0+ 核心代码中
  • 全方位打通 WnA16、W8A8、W4A8 与 W4A4 低比特精度,算子即时编译耗时仅需 1.82 秒(相比 CUTLASS 的 23.35 秒提速 12 倍)
  • 在 8 卡 H20 集群部署 DeepSeek-V4.1-Flash 实测:64 并发下吞吐从 442 提升至 634 tokens/s(净增 +43.3%)
  • 首字生成时延(TTFT)缩减 25%~32%,在下一代 B300 架构上 MoE 核心算子实现最高 5 倍极限加速
阅读全文