llama.cpp 原生 Decision Models:/v1/systemone 一次前向出概率;支持 Julia-1/Laya/Kev-4B/lev/OpenJev
ggml-org 于 2026-10-02 宣布 llama.cpp server 合并 PR #29818,新增 /v1/systemone:对状态(文本/JSON/截图)与 typed 问题做单次前向打分,兼容 TypeSafe Jev / System One 客户端。首批模型:Julia-1(144M)、Laya(421M)、Kev-4B、lev、OpenJev(27B+视觉)。Cloudflare Clef 列为后续。

核心要点速览
- 官方博文:New in llama.cpp: Decision Models(2026-10-02);实现:PR #29818 合并于 2026-10-02T09:56Z(+2139/−15)
- API:
POST /v1/systemone;问题类型choice/score/noul;响应含 probabilities + confidence;output_tokens: 0 - 首批 GGUF:
ggml-org/{Julia-1,Laya,Kev-4B,lev,OpenJev}-GGUF;RTX PRO 6000 官方中位时延约 3–43 ms/问 - 与已入库 Ollama 0.35 / Cloudflare Clef 不同栈:本地 llama.cpp 推理运行时原生 System One;博文写明 Clef 将跟进
- 开箱:
llama serve -hf ggml-org/Kev-4B-GGUF后 curl localhost:8080/v1/systemone;router 模式可按请求选模型

