AI 编程实时动态与要闻

g
ggml-org@AICoder·
👀194
🔥84

llama.cpp v0.6.0 稳定版发布:正式纳入 GLM-5.3-Flash(320B)与 Qwen4Exp MTP 投机解码,新 llama_batch_ext API,Apple GPU 小批量矩阵乘最高约 3 倍

ggml-org 于 10 月 5 日发布 llama.cpp v0.6.0 稳定版(上一版 v0.5.0 为 9 月 23 日)。本版把 GLM-5.3-Flash(GLM5-Next,320B 图文混合 MoE)支持带进正式版,Qwen4Exp 加入 MTP 投机解码(DGX Spark 上解码约 1.5 倍),引入支持 token/embedding 混合批次的 llama_batch_ext 与 llama_process() 新 API,并为 Apple GPU 新增小批量 MMA 矩阵乘内核(投机/批量解码场景最高约 3 倍),ggml 升级到 v0.26.0。会话格式版本号同时升级,旧会话文件需注意兼容。

核心要点速览

  • 新模型:GLM-5.3-Flash(GLM5-Next,320B KDA/DSA 混合图文 MoE,#27773)、Clef 图文决策模型、Ling 3.0 VL、LFM2.5-Encoder
  • 提速:Qwen4Exp MTP 投机解码在 DGX Spark 上解码约 1.5 倍;Metal 小批量 MMA 矩阵乘最高约 3 倍(#29869)
  • API:新增 llama_batch_ext + llama_process(),单批次混合 token 与 embedding(#24669);server 已迁移
  • 兼容性:LLAMA_SESSION_VERSION 升至 11、LLAMA_STATE_SEQ_VERSION 升至 4,旧的会话/状态文件需重新生成
  • Server:/v1/models 返回输入输出模态;/v1/embeddings 接受图像/音频/视频类型输入;新增 /v1/systemone 决策模型接口
阅读全文
关联模型 / 智能体 / 厂商:

阿里通义开源 Qwen3.8-Flash:125B/6B 多模态 MoE,SWE-bench Pro 62.5,预览 Qwen4 架构

阿里通义千问开源多模态 MoE 模型 Qwen3.8-Flash,作为 Qwen4 架构早期预览。总参 125B 另加 51B N-gram 嵌入,每 Token 仅激活 6B;采用 GDN+QSA 混合注意力、Gated Residual 与 Muon 优化器。训练成本约为 Qwen3.7-Plus 的 1/9,却全面领先:DeepSWE 1.1 达 58.7、SWE-bench Pro 62.5、CoWorkBench 73.9、AndroidWorld 84.5、MathVision(含 CI)95.7。原生 262K 上下文,YaRN 可扩至 1M;1M 长度下 QSA 预填充最高 7.6 倍、解码 4.9 倍加速。QwenCloud 报价约 $0.15/$0.47 每百万 Token,权重已上线 Hugging Face,并获 NVIDIA NeMo、SGLang、Unsloth 与 OpenCode 的 Day-0 支持。

核心要点速览

  • 125B 总参、6B 激活,SWE-bench Pro 62.5、DeepSWE 1.1 58.7,训练成本约为上一代 Plus 的 1/9。
  • GDN+QSA 混合注意力在 1M 上下文下最高 7.6 倍预填充、4.9 倍解码加速。
  • 开源权重同步登陆 Hugging Face,QwenCloud / OpenRouter / OpenCode 与 NeMo、SGLang、Unsloth 提供 Day-0 接入。
阅读全文
关联模型 / 智能体 / 厂商:

阿里通义千问开源 Qwen3.8-Flash:125B 稀疏 MoE 架构,提前预览 Qwen4 前沿技术

阿里通义千问正式开源 Qwen3.8-Flash 多模态 MoE 模型,总参 125B 激活仅 6B,采用 GDN、稀疏注意力与 Muon 优化器等 Qwen4 预研技术,训练成本仅为前代 1/9 且代码能力超越 Qwen3.7-Plus,官方 API 定价低至 $0.15 / $0.47。

核心要点速览

  • 全新底层架构:融合 GDN 门控残差、Qwen 稀疏注意力、N-gram 嵌入与 Muon 优化器,系 Qwen4 架构技术先行预览;
  • 编程与自动化基准出色:DeepSWE 1.1 获 58.7 分、SWE-bench Pro 62.5 分、CoWorkBench 73.9 分;
  • QwenCloud、OpenRouter、vLLM、SGLang 与 Unsloth 均已首日支持,本地仅需约 75GB 内存即可运行 GGUF。
阅读全文
关联模型 / 智能体 / 厂商:

Qwen3.8-Flash-Next 可在 75GB 内存本地运行:Unsloth GGUF 提供 Day-0 支持

通义千问官方确认,125B 多模态 MoE 模型 Qwen3.8-Flash-Next 已可通过 Unsloth GGUF 在约 75GB 内存上本地运行,并支持把 N-gram 嵌入放到 CPU/统一内存以接近显存速度。这是 Qwen4 架构预览权重的首日本地部署路径。

核心要点速览

  • 125B MoE(每 token 激活 6B,另有 51B N-gram 嵌入)可在约 75GB RAM 上本地推理,无需整模装进 GPU 显存
  • Unsloth 提供 Day-0 GGUF 与 Qwen3.8-Flash-Next 指南,CPU RAM / 统一内存路径可接近显存吞吐
  • 官方权重同步在 Hugging Face / ModelScope;vLLM 与 SGLang 已提供 NVIDIA 与 AMD Day-0 服务支持
阅读全文
AD赞助内容

Qwen3.8-Flash 开源:6B 激活斩获 SWE-bench Pro 62.5,预览 Qwen4 架构

阿里云通义千问发布多模态 MoE 模型 Qwen3.8-Flash 并开源权重,仅 6B 激活参数即在 DeepSWE 1.1 拿到 58.7、SWE-bench Pro 拿到 62.5,训练成本仅为 Qwen3.7-Plus 的 1/9,同时放出 Qwen3.8-Flash-Next 作为 Qwen4 架构先行预览。

核心要点速览

  • DeepSWE 1.1 58.7、SWE-bench Pro 62.5、CoWorkBench 73.9,编程与办公任务相对 Qwen3.7-Plus 全面领先
  • GDN+QSA 混合注意力、Gated Residual、N-gram Embedding 与 Muon 优化器,1M 上下文 QSA 预填充最高提速 7.6 倍
  • 权重已上 Hugging Face / ModelScope,vLLM 与 SGLang 提供 Day-0 支持;QwenCloud 定价 $0.16/$0.47 每百万 Token
阅读全文

阿里通义开源 Qwen3.8-Flash:125B/6B 多模态 MoE,SWE-bench Pro 达 62.5 预览 Qwen4 架构

阿里云通义千问团队开源发布 Qwen3.8-Flash,作为 Qwen4 架构的早期技术预览。模型采用 125B 总参、单 Token 仅激活 6B 的高效 MoE 结构,训练成本仅为上一代 Plus 的 1/9,在 SWE-bench Pro 上取得 62.5 分,DeepSWE 1.1 达到 58.7 分。支持原生 262K 上下文并可通过 YaRN 外推至 1M,QwenCloud 定价低至 $0.16 / $0.47 per 1M tokens。

核心要点速览

  • 125B 总参、6B 极低激活量,SWE-bench Pro 达 62.5 分,编码能力大幅跃升。
  • QSA 混合注意力内核在 1M 长上下文下实现 7.6 倍预填充与 4.9 倍解码加速。
  • 首发上线 QwenCloud、OpenRouter 与 OpenCode,全面开放商业开源权重下载。
阅读全文
关联模型 / 智能体 / 厂商:

阿里通义开源 Qwen3.8-Flash:125B MoE 仅 6B 激活,SWE-bench Pro 达 62.5 预览 Qwen4 架构

阿里通义千问开源发布多模态 MoE 架构模型 Qwen3.8-Flash 作为 Qwen4 架构的早期预览。模型总参 125B,每个 Token 仅激活 6B;在 SWE-bench Pro 取得 62.5 分,DeepSWE 1.1 达到 58.7 分。训练成本仅为上一代 Plus 的 1/9,在 QwenCloud 上报价低至 $0.16/$0.47 per 1M tokens。

核心要点速览

  • 采用 GDN+QSA 混合注意力与 Muon 优化器,SWE-bench Pro 得分达到 62.5。
  • 125B 总参每次仅激活 6B,推理极速且 API 成本较上一代大幅压降。
  • 原生 262k 上下文,支持通过 YaRN 扩展至 100 万 Token。
阅读全文
关联模型 / 智能体 / 厂商: