AI 编程实时动态与要闻

原生记忆驱动模型进化:MemT-1.0 架构发布,128K 上下文 KV 显存开销削减 66 倍

多所顶尖研究机构在 arXiv:2610.26825 中正式推出原生记忆基础模型架构 MemT-1.0。针对传统大模型依赖庞大外部 KV Cache 或外挂 Vector RAG 导致的长文本显存爆炸与检索断层痛点,MemT-1.0 将记忆内化为模型计算的原生组成部分。基于 Metis 框架,模型采用 Gated DeltaNet-2 结合轮内稳定的 Token 级记忆更新机制,并引入 Mixture-of-Storage 结构拓展原生记忆容量。在 340 亿 Token 数据持续预训练与对齐后,MemT-1.0-Nano 在 128K 超长历史下实现 1.86 倍推理加速与惊人的 66 倍持久存储削减,显著提升复杂智能体长程任务成功率。

原生记忆驱动模型进化:MemT-1.0 架构发布,128K 上下文 KV 显存开销削减 66 倍

核心要点速览

  • MemT-1.0 架构正式亮相(arXiv:2610.26825),彻底将记忆从外部拼接上下文转变为模型内部原生计算机制
  • 采用 Gated DeltaNet-2 与单轮 Token 级稳定记忆更新策略,配合 Mixture-of-Storage 架构无损扩充原生记忆容量
  • 在 128K 超长上下文历史测试中,相比传统全量 KV Cache 实现 1.86 倍端到端推理提速,持久化存储需求直降 66 倍
  • 内化检索到的操作规程与经验知识,在复杂多轮 Agent 评测中显著改善任务成功率,为自进化长程智能体指明方向
阅读全文
关联模型 / 智能体 / 厂商:
⚡ MemT-1.0-Nano⚡ MemT-1.0-Flash

Inception 正式发布 Mercury 3:扩散架构大模型突破 1000 Token/s,100 万上下文挑战 GPT-6 与 Haiku

前沿 AI 初创公司 Inception 联合创始人 Stefano Ermon 宣布正式推出新一代扩散架构大语言模型 Mercury 3。模型在 NVIDIA GPU 上实现高达 1,068 Token/秒的超高生成吞吐,参数量达到前代 Mercury 1 的 40 倍并支持 100 万(1M)Token 原生上下文。在 IFBench、GPQA Diamond 与 SWE-Bench Atlas 基准上全面对标前沿闭源基线,输入/输出百万 Token 标准定价为 0.20 / 0.70 美元(上线期半价优惠仅需 0.10 / 0.35 美元)。

Inception 正式发布 Mercury 3:扩散架构大模型突破 1000 Token/s,100 万上下文挑战 GPT-6 与 Haiku

核心要点速览

  • Inception 联合创始人 Stefano Ermon 正式发布扩散架构大模型 Mercury 3,在 NVIDIA GPU 上实现 1,068 Token/秒的超高吞吐
  • 模型参数扩充至 Mercury 1 的 40 倍,支持 100 万原生超长上下文(4 倍于 Mercury 2.5),标准定价百万输入/输出仅 0.20 / 0.70 美元
  • 在 IFBench、GPQA Diamond 与 SWE-Bench Atlas 测试中表现亮眼,基准综合智能达到前代 3 倍且同步上线 OpenRouter
  • 彻底摆脱自回归逐字预测瓶颈,以并行扩散去噪实现亚秒级长文本代码生成,极大优化高并发 Agent 运行效率
阅读全文
关联模型 / 智能体 / 厂商:

Codex 开启「28 天每日改进或全员重置额度」:Day 1 把 GPT-6 Astra 与 GPT-6.1 Sol 默认速度提升约 50%,OpenCode / Amp / Devin 同步受益

OpenAI Codex 负责人 Tibo(Thibault Sottiaux)10 月 5 日承诺:接下来 28 天,每天要么上线一项对多数 Codex / ChatGPT Work 用户有明显价值的改进,要么给所有人「全量重置额度」。Day 1 即推理加速:订阅用户使用 GPT-6 Astra 与 GPT-6.1 Sol 的默认生成速度约提升 50%(约 30→50 tokens/s),覆盖所有支持 Sign in with ChatGPT 的伙伴工具,用户无需改设置。API 速度未宣布变化。

核心要点速览

  • 承诺周期 28 天:每天「一项明确改进」或「全员额度重置」二选一(OpenAI 开发者社区公告帖)
  • Day 1:GPT-6 Astra / GPT-6.1 Sol 默认速度 约 +50%,Tibo 给出的吞吐约 30 → 50 tokens/s(按数字算接近 +67%,官方称均为约数)
  • 覆盖范围:OpenAI 自家产品 + 所有 Sign in with ChatGPT 伙伴(OpenCode、Pi、Amp、Devin 等),零配置,约 2 小时内生效
  • 仅限订阅通道;OpenAI 未宣布 API 速度变化,按 API 计费的评测无需重跑
  • 社区个例:有用户在自建基准上称 6.1 Sol 加速后耗时反而更长,属未复核的单点数据
阅读全文

连续深度批处理(CDB)问世:攻克循环大模型动态退出与 GPU 拼批瓶颈,实测榨干 99% 理论推理加速比

循环神经网络与共享层循环大模型(Looped LMs)支持简单 Token 少循环、复杂 Token 多循环的深度自适应推理,但变长层数导致标准 vLLM 等拼批系统彻底失效。慕尼黑工大与帝国理工学者提出“连续深度批处理”(Continuous Depth Batching, CDB)。通过循环步间动态重组批次、循环 KV 缓存管理以及基于置信度的提前退出异步预测,实现在单一 GPU 内多序列并发执行不同循环深度,在 Ouro 和 Huginn 模型上榨干高达 99% 的理论上限加速比。

连续深度批处理(CDB)问世:攻克循环大模型动态退出与 GPU 拼批瓶颈,实测榨干 99% 理论推理加速比

核心要点速览

  • 攻克循环大模型无法拼批痛点:循环架构模型虽能按需为 Token 分配计算深度,但因各序列循环次数不一,导致无法直接送入传统 Tensor 并行或固定 Batch 流水线;CDB 首次建立步间连续拼批范式。
  • 步间重组与异步退出预测:在循环层执行步之间建立动态调度器,实时回收已满足退出条件的序列并插拔新请求;通过置信度前瞻预测器提前异步准备下一组 Batch,消除 GPU 气泡。
  • 逼近理论加速极限:在开源 Ouro 1.4B 与 Huginn 3.5B 循环模型上的测试显示,CDB 实现了理论估算最大推理加速比的 99%,彻底扫清循环推理模型走向生产级高并发部署的工程阻碍。
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容