AI 编程实时动态与要闻速递 — 𝕏/Twitter 一手信源

ggml-org@AICoder·29 天前收录

👀194

🔥84

llama.cpp v0.6.0 稳定版发布：正式纳入 GLM-5.3-Flash（320B）与 Qwen4Exp MTP 投机解码，新 llama_batch_ext API，Apple GPU 小批量矩阵乘最高约 3 倍

ggml-org 于 10 月 5 日发布 llama.cpp v0.6.0 稳定版（上一版 v0.5.0 为 9 月 23 日）。本版把 GLM-5.3-Flash（GLM5-Next，320B 图文混合 MoE）支持带进正式版，Qwen4Exp 加入 MTP 投机解码（DGX Spark 上解码约 1.5 倍），引入支持 token/embedding 混合批次的 llama_batch_ext 与 llama_process() 新 API，并为 Apple GPU 新增小批量 MMA 矩阵乘内核（投机/批量解码场景最高约 3 倍），ggml 升级到 v0.26.0。会话格式版本号同时升级，旧会话文件需注意兼容。

核心要点速览

新模型：GLM-5.3-Flash（GLM5-Next，320B KDA/DSA 混合图文 MoE，#27773）、Clef 图文决策模型、Ling 3.0 VL、LFM2.5-Encoder
提速：Qwen4Exp MTP 投机解码在 DGX Spark 上解码约 1.5 倍；Metal 小批量 MMA 矩阵乘最高约 3 倍（#29869）
API：新增 llama_batch_ext + llama_process()，单批次混合 token 与 embedding（#24669）；server 已迁移
兼容性：LLAMA_SESSION_VERSION 升至 11、LLAMA_STATE_SEQ_VERSION 升至 4，旧的会话/状态文件需重新生成
Server：/v1/models 返回输入输出模态；/v1/embeddings 接受图像/音频/视频类型输入；新增 /v1/systemone 决策模型接口

阅读全文

关联模型 / 智能体 / 厂商:

⚡ GLM-5.3-Flash⚡ qwen4exp⚡ clef🌐 ggml-org 🌐 zhipu

#llama.cpp#Ggml#GLM-5.3-Flash#Qwen4Exp#MTP#推测解码#Metal#本地推理#发布

Xuan-Son Nguyen / ggml-org@ngxson·31 天前收录

👀172

🔥96

llama.cpp 原生 Decision Models：/v1/systemone 一次前向出概率；支持 Julia-1/Laya/Kev-4B/lev/OpenJev

ggml-org 于 2026-10-02 宣布 llama.cpp server 合并 PR #29818，新增 /v1/systemone：对状态（文本/JSON/截图）与 typed 问题做单次前向打分，兼容 TypeSafe Jev / System One 客户端。首批模型：Julia-1（144M）、Laya（421M）、Kev-4B、lev、OpenJev（27B+视觉）。Cloudflare Clef 列为后续。

核心要点速览

官方博文：New in llama.cpp: Decision Models（2026-10-02）；实现：PR #29818 合并于 2026-10-02T09:56Z（+2139/−15）
API：POST /v1/systemone；问题类型 choice / score / noul；响应含 probabilities + confidence；output_tokens: 0
首批 GGUF：ggml-org/{Julia-1,Laya,Kev-4B,lev,OpenJev}-GGUF；RTX PRO 6000 官方中位时延约 3–43 ms/问
与已入库 Ollama 0.35 / Cloudflare Clef 不同栈：本地 llama.cpp 推理运行时原生 System One；博文写明 Clef 将跟进
开箱：llama serve -hf ggml-org/Kev-4B-GGUF 后 curl localhost:8080/v1/systemone；router 模式可按请求选模型

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Julia 1⚡ laya⚡ Kev 4b⚡ lev⚡ openjev🌐 ggml-org 🌐 huggingface

#llama.cpp#Decision Models#System One#Systemone#Jev#GGUF#本地推理#agent routing#Kev-4B#OpenJev#Ggml

ggml-org@ggerganov·39 天前收录

👀98

🔥95

llama.cpp v0.5.0：CUDA conv2d 隐式 GEMM + Metal MoE/SSM 融合，新增 MiMo-V2.6 / HunyuanOCR / Mimir 1B

ggml-org 于 2026-09-23 发布 llama.cpp v0.5.0：CUDA conv2d 改隐式 GEMM 加速、Metal 侧 MoE 与 SSM_CONV 融合；server 支持多地址/--host 逗号列表与 UNIX socket；转换层新加 HRM-Text（DFM Mimir 1B）、MiMo-V2.6、HunyuanOCR（DFlash），并捆绑 ggml 0.25.0。

核心要点速览

发布：v0.5.0（2026-09-23），相对站内既有 v0.4.1 为大版本跃迁
性能：CUDA conv2d 隐式 GEMM（#29135）；Metal MoE + SSM_CONV fusion（#28948）；MTP drafting 启用 CUDA graphs（#28549）
模型：HRM-Text / DFM Mimir 1B、MiMo-V2.6 转换、HunyuanOCR DFlash、Qwen4Exp hyper-connection + sparse FA、Nemotron MTP/H 扩展
Server：--host 支持逗号分隔 TCP 与 UNIX socket（#28690）；function-call 输出可带 input_image；router 驱逐竞态修复
API：llama_adapter_lora_init_from_file_ptr()；采样参数可走环境变量；llama-bench --version

阅读全文

关联模型 / 智能体 / 厂商:

⚡ qwen⚡ deepseek⚡ nemotron🌐 ggml-org

#llama.cpp#Ggml#CUDA#Metal#本地大模型#MiMo#HunyuanOCR#推理

ggml@ggml_org·50 天前收录

👀69

🔥92

查看推特原帖 ↗

llama.cpp v0.4.1：新增 Maple/Hy4/Spark2.5，修 qwen3-coder 解析并升级 ggml 0.24.0

官方 @ggml_org 发布 llama.cpp v0.4.1：新增 Maple 20B-A1B、Tencent Hy 4、Spark2.5 等架构支持；改进 Kimi-K3 状态回滚、JSON schema、qwen3-coder 复杂类型解析与 MCP/多模态相关修复，并将 ggml 更新至 v0.24.0。发布说明见 GitHub ggml-org/llama.cpp releases/tag/v0.4.1。

核心要点速览

官方发布 llama.cpp v0.4.1，支持 Maple 20B-A1B、Tencent Hy 4、Spark2.5。
改进 qwen3-coder 解析、Kimi-K3 回滚、JSON schema 与多模态/服务端稳定性。
ggml 升级到 v0.24.0；发布页 ggml-org/llama.cpp v0.4.1。

阅读全文

关联模型 / 智能体 / 厂商:

#llama.cpp#Ggml#v0.4.1#Qwen3 coder#Kimi-K3#本地推理#开放权重