AI 编程实时动态与要闻

OpenBMB 开源 MiniCPM-OCR 套件:1.3B 解析模型 Real5-OmniDocBench 93.68 分,另配 2B「判官」模型自动找出识别错误

面壁智能旗下 OpenBMB 10 月 27 日开源 MiniCPM-OCR 套件,含两款模型:1.3B 参数的文档解析模型 MiniCPM-OCR 1.0(Real5-OmniDocBench 93.68、OCRBench v2 54.7,官方口径),以及 2B 参数的 OCR 质量判定模型 MiniCPM-OCR Jev,可给任意 OCR 解析结果按区域打 0–1 分、标出需人工复核的内容。代码和权重均为 Apache 2.0,首发即支持 vLLM、SGLang、llama.cpp、Ollama 及多家芯片平台。

OpenBMB 开源 MiniCPM-OCR 套件:1.3B 解析模型 Real5-OmniDocBench 93.68 分,另配 2B「判官」模型自动找出识别错误

核心要点速览

  • 解析模型 MiniCPM-OCR 1.0 仅 1.3B 参数:Real5-OmniDocBench 93.68、OCRBench v2 54.7(官方口径,均称 SOTA)
  • 判定模型 MiniCPM-OCR Jev 2B 参数:JevOCRBench AUROC 93.6,高于 JEV-35B-A3B 的 90.1,接近 Qwen3.5-397B-A17B 的 93.8(官方口径)
  • Jev 与解析器无关:对 MiniCPM-OCR、GLM-OCR、PaddleOCR-VL-1.6、Xiaomi-OCR-0 的结果 AUROC 都在 91.9–93.4
  • 吞吐约为 PaddleOCR-VL-1.6 的 1.49 倍、MinerU2.5 Pro 的 3.62 倍;配合 SDK 并发最高约 128 页/分钟(官方口径)
  • GitHub 代码与权重全部 Apache 2.0,提供 GGUF/AWQ/GPTQ 量化版与 SKILL.md
阅读全文
关联模型 / 智能体 / 厂商:
⚡ MiniCPM-OCR 1.0⚡ MiniCPM-OCR Jev⚡ PaddleOCR-VL-1.6⚡ MinerU2.5 Pro⚡ Qwen3.5-397B-A17B🌐 OpenBMB🌐 ModelBest🌐 Intel🌐 NVIDIA🌐 Arm

Baseten 开源两款决策模型 mammoth-1(27B)与 elephant-1(9B):不生成文本直接输出选项概率,Jev 决策榜第一

10 月 21 日,Baseten 旗下研究团队 Base Labs 发布开源决策模型 mammoth-1(27B)与 elephant-1(9B),基于 Qwen3.5 全量微调,不生成文本,一次前向传播即返回每个选项的概率,适合分流、分类、打分和路由。官方口径下 mammoth-1 以 71.24 分登顶 Jev Decision Index 0.4,elephant-1 在 Artificial Analysis Decision Index 上并列第一。权重已上 Hugging Face,Baseten API 免费开放至 10 月 27 日。

Baseten 开源两款决策模型 mammoth-1(27B)与 elephant-1(9B):不生成文本直接输出选项概率,Jev 决策榜第一

核心要点速览

  • 跑分(官方口径):mammoth-1 在 Jev Decision Index 0.4 得 71.24 分,208 个决策模型中排名第一;AA Decision Index 65.9
  • elephant-1(9B):Jev 62.6 分、9B 级第一;AA Decision Index 65.2,与 d1-ultra 并列第一
  • 训练:基于 Qwen3.5-27B / 9B 全量微调,621 万条决策样本,含弃答与安全数据
  • 机制:块状双向注意力 + 共享前缀缓存,一次前向返回多问题概率;官方称比推理模型最高快约 10 倍
  • 上手:Hugging Face 权重(MIT),Baseten API 免费至 10/27 23:59 PT,默认零数据保留
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Mammoth 1⚡ Elephant 1⚡ Qwen3.5-27B⚡ Qwen3.5-9B🌐 Baseten🌐 Base Labs

vLLM 官方推出预编译字节码镜像与 Decision 3.0 服务:容器冷启动提速 18%,AMD MI325X 决策吞吐达 1.8 倍

vLLM 官方推特宣布两项关键工程突破:在 v0.32.0 官方镜像中引入构建期 Python 字节码预编译(uv compile),使 H100 容器冷启动耗时缩短 14%~18%(省去约 18 秒且启动零重编译);同时正式合入 Decision 3.0(D3)全系列 6 款结构化决策模型(0.6B 至 27B),通过 /v1/systemone 提供极速多模态选择与评分,在 AMD MI325X 单卡上支撑 64 并发的吞吐达原始基准的 1.8 倍。

vLLM 官方推出预编译字节码镜像与 Decision 3.0 服务:容器冷启动提速 18%,AMD MI325X 决策吞吐达 1.8 倍

核心要点速览

  • vLLM 官方在发布镜像中引入构建期 Python 字节码预编译,使 H100 容器冷启动耗时缩短 14%~18%(省去约 18 秒)
  • 正式合入 Decision 3.0(D3)全系列 6 款决策模型(0.6B 至 27B),通过 /v1/systemone 专有接口提供毫秒级多模态结构化判定
  • D3 模型在 Jev Decision Index 0.3.2 榜单上拿下文本 66.3 分与视觉 71.3 分双料第一
  • 在单张 AMD Instinct MI325X 显卡上,面对 64 并发客户请求,D3 27B 的吞吐量达到原始服务的 1.8 倍
阅读全文
关联模型 / 智能体 / 厂商:

零生成 Token 提速 5.6 倍!MJev-Spatial 原生注意力匹配登顶 HuggingFace 热榜,港中大 CarryOn 双环具身框架将违规率砍至 6.1%

针对视觉语言模型(VLM)在空间感知中依赖自回归文本生成导致的高延迟,以及具身 VLA 模型缺乏个性化与物理安全兜底的难题,今日两项重磅开源成果给出解法:MJev-Spatial(arXiv:2610.22276,HF 350 赞登顶)复用骨干 Q/K 投影将空间判断转化为单次前向分类,零新增参数提速 5.6 倍并在 12 项基准斩获 65.64% 第一;港中大贾佳亚团队 CarryOn(arXiv:2610.21453)以规划-执行双环 Harness 将机器人安全违规率从 52.6% 降至 6.1%,故障恢复成功率从 13% 飙至 80%。

零生成 Token 提速 5.6 倍!MJev-Spatial 原生注意力匹配登顶 HuggingFace 热榜,港中大 CarryOn 双环具身框架将违规率砍至 6.1%

核心要点速览

  • MJev-Spatial 复用 VLM 原生 Q/K 投影将三类空间感知任务统一为单次前向分类,生成 0 个 Token,推理较 Qwen3.5-4B 基座提速 5.6 倍,12 项空间基准均分达 65.64%
  • 联合粗到细 Teacher Forcing 监督与长度感知全局批处理,使 MJev-Spatial 在 1,230 万空间问答对上的训练吞吐提升 30.8%
  • 港中大贾佳亚团队 CarryOn 双环具身 Harness 将安全微调后 VLA 的违规率从 52.6% 压降至 6.1%,物理失败自主恢复成功率从 13% 提升至 80%
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

智能体提速 2.5 倍、降本 89%!JevAgentHarness 让 4B 决策小模型与大模型共享控制权:跨分布解决率高达 91.5%

现有智能体运行框架(Harness)在每一步都调用昂贵的大模型,但大多数步骤本质上只是‘下一步调用哪个工具’的多项选择决策。UIUC、耶鲁与普林斯顿团队推出 JevAgentHarness 与开源模型 AgentDecision-4B,通过在智能体自身纠错轨迹上训练 4B 决策模型并拟合逐项置信度阈值,实现与大模型动态共享控制权。实测使智能体运行成本降低 81.1%–89.0%,速度提升最高达 2.5 倍,分布外任务解决率达 91.5%。

智能体提速 2.5 倍、降本 89%!JevAgentHarness 让 4B 决策小模型与大模型共享控制权:跨分布解决率高达 91.5%

核心要点速览

  • 揭示孤立评测与动态控制鸿沟:构建 AgentDecisionBench,发现无阈值盲目委派工具选择会导致智能体成功率暴跌 19.0 个百分点
  • 逐选项阈值校准+纠错状态训练:推出 JevAgentHarness 与开源 AgentDecision-4B,专门在智能体犯错后的真实恢复状态上强化训练
  • 提速 2.5 倍且成本锐减 89%:端到端开销降低 81.1%–89.0%,在分布外未知任务上解决率高达 91.5%(显著超越原版 Jev 的 82.0%)
阅读全文

Subquadratic 发布 SubQ Snap:384K 上下文决策模型,专接 Agent 的路由/选工具/判通过

Subquadratic 于 10 月 12 日发布 SubQ Snap(公测 ID subq-snap-preview):不生成文本、只对预定义答案打概率的「决策模型」,基于次二次稀疏注意力 SSA,单次可读 384K 文本+图像,100K token 约 1 秒出结果;官方称 Decision Index 0.2.1 得 61.7(Jev 57.9),输入 $0.05/百万 token、输出免费。

Subquadratic 发布 SubQ Snap:384K 上下文决策模型,专接 Agent 的路由/选工具/判通过

核心要点速览

  • 上下文 384K(文本+图像),官方称为 Jev 的 12 倍
  • Decision Index 0.2.1:61.7 vs Jev 57.9(厂商自测)
  • 16 项企业任务均分 67.6 vs 61.6,13/16 领先;When2Call 落后 7.6 分
  • Decision LCR(72K–115K 多文档):一次读完 74.0 vs Jev 分块 48.0
  • 定价 $0.05/百万输入 token,输出免费;100K 输入约 1 秒
阅读全文
关联模型 / 智能体 / 厂商:
⚡ SubQ Snap⚡ SubQ⚡ Jev🌐 Subquadratic🌐 TypeSafe

vLLM Semantic Router 开源 Decision 3.0:0.6B–27B 六款多模态决策模型,官方测评 Jev Decision Index 第一

vLLM Semantic Router(vllm-sr)团队于 10 月 11 日在 Hugging Face 以 Apache-2.0 开源 Decision 3.0 系列(d3、d3-flash、d3-mini、d3-nano、d3-lite、d3-edge),基于 Qwen3.5/3.8,支持文本、图片和视频输入,一次调用直接输出选择题、是/否、打分三类问题的概率而不生成文本。官方口径:27B 旗舰 d3 在 Jev Decision Index 0.3.1 得 64.7,领先 Perplexity Decider v1.1(62.8)和上一代 Decision 2.0(55.9);单张 MI325X 上文本请求中位延迟 55ms。vLLM 官方账号转发祝贺。

vLLM Semantic Router 开源 Decision 3.0:0.6B–27B 六款多模态决策模型,官方测评 Jev Decision Index 第一

核心要点速览

  • 六档尺寸:d3-edge 0.59B、d3-lite 0.85B、d3-nano 2.2B、d3-mini 4.5B、d3-flash 8.4B、d3 26.1B,全部 Apache-2.0(HF 合集)
  • 官方口径 Jev Decision Index 0.3.1:d3 64.7,Perplexity Decider v1.1 62.8,Jev 60.1,Decision 2.0 55.9
  • 视觉榜(Vision Index 0.3.1):d3 71.6,Perplexity Decider v1.1 70.6,JEV-27B-VL 69.6
  • 单张 AMD MI325X、单并发中位延迟:d3 文本 55ms / 图片 273ms / 10 秒视频 553ms;d3-edge 文本仅 6.7ms
  • 不生成文本,直接给每个选项打概率;同一输入可一次问多道 Choice / Yes-No / Score 题
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Decision 3.0⚡ d3⚡ D3 Flash⚡ D3 Edge⚡ Qwen3.5⚡ Qwen3.8🌐 vLLM🌐 vLLM Semantic Router

开源决策模型 Vega:冻结 Qwen3.5-0.8B + 57 MB 物理引擎,“滚小球”给出带校准概率的类型化答案

独立开发者 Nandakishor M 以 Apache 2.0 开源 Vega(pip 包 vegaml):冻结的 Qwen3.5-0.8B(另有 4B)只负责读取,57 MB 的可训练引擎把答案建模成势能“山谷”,小球带摩擦滚落后停在哪个谷就是答案,并给出校准概率、保形答案集与弃答标记。支持 73,728 token 上下文与图像输入。作者自测在钓鱼邮件识别等任务上胜过托管的 Jev 1.13.0,但也承认在重排与多步推理上落后。

开源决策模型 Vega:冻结 Qwen3.5-0.8B + 57 MB 物理引擎,“滚小球”给出带校准概率的类型化答案

核心要点速览

  • 体积:0.8B 版引擎 14.3M 参数 / 57 MB,任务适配器仅 0.84M 参数;4B 版引擎 124 MB(GitHub README)
  • 作者自测 typed-decisions 测试集(2,050 条):0.8B 加适配器 0.763、4B 0.803,单次决策 22 ms / 28 ms
  • 钓鱼邮件 800 封:Vega 准确率 75.4、识别 252/400,Jev 1.13.0 为 61.9、99/400(作者口径,McNemar p=3e-11)
  • 中位延迟 267 ms(T4 fp16)对比托管 Jev 591 ms;MMMU-Pro 仅 0.240,作者明确不适合大学级推理
  • pip install vegaml,HF 模型卡与在线 Space可直接试用
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Vega 0.8B⚡ Vega 4B⚡ Qwen3.5-0.8B⚡ Jev 1.13.0🌐 Nandakishor M

Jev 开发商 TypeSafe AI 完成 8.7 亿美元 A 轮、估值 75 亿美元:a16z 领投,Jev 发布不到一个月

TypeSafe AI 10 月 9 日宣布完成 8.7 亿美元 A 轮融资、投后估值 75 亿美元,由 a16z 领投,Sequoia 与老股东 DCVC 跟投,Martin Casado 加入董事会。其“System One”决策模型 Jev 于 9 月 15 日发布,不输出文本而输出校准概率/类型化决策。公司称三分之一财富 500 强在用,a16z 博文则写 25%,两者口径不一。

Jev 开发商 TypeSafe AI 完成 8.7 亿美元 A 轮、估值 75 亿美元:a16z 领投,Jev 发布不到一个月

核心要点速览

  • 融资:8.7 亿美元 A 轮、估值 75 亿美元,a16z 领投,Sequoia、DCVC 跟投,Martin Casado 进董事会
  • Jev 于 2026-09-15 发布,据 TechCrunch,距融资仅约 3.5 周
  • a16z 口径:Jev 发布后 3 天生成 1 万亿 token,是其见过增长最快的模型
  • 企业渗透口径不一致:TypeSafe 博客称“三分之一财富 500 强”,a16z 写“25%”,均为公司/投资方自报
  • 公司承诺推出更多 machine-native 模型与企业功能,开发者入口见 docs.typesafe.ai
阅读全文
关联模型 / 智能体 / 厂商:
P
Perplexityperplexity-ai·
👀126
🔥84

Perplexity 开源 pplx-decider-v1.1-27b 决策模型:Decision Index 从 56.4 提到 61.56,反超 Jev 3.6 分

Perplexity 在 Hugging Face 发布 Apache-2.0 的 pplx-decider-v1.1-27b,基于 Qwen3.8-27B,不生成文本而是直接输出带概率的分类/路由/打分答案;Decision Index 总分 61.56(v1 为 56.4,Jev 为 57.9),并可通过 Perplexity Decisions API 调用。

Perplexity 开源 pplx-decider-v1.1-27b 决策模型:Decision Index 从 56.4 提到 61.56,反超 Jev 3.6 分

核心要点速览

  • Decision Index 总分 61.56,比 v1(56.4)高 5.16 分,比 Jev(57.9)高 3.66 分,同一 Qwen3.8-27B 底座
  • 分项:Language 69.45、Retrieval 61.26、Tools 78.88、Knowledge 48.18(仍低于 Jev 的 51.4)
  • 提升主要来自取消全注意力层的因果掩码(noncausal)以及加入 tasksource 等更多训练数据
  • 输出头是 [255, 5120] 的 BF16 readout,不是全词表 lm_head;权重约 49 GiB,需 CUDA GPU
  • 托管调用:POST /v1/decisions,支持 noul / choice / score 三类问题,一次请求可问多个问题(文档)
阅读全文
关联模型 / 智能体 / 厂商:
⚡ pplx-decider-v1.1-27b⚡ Pplx Decider V1 27b⚡ Qwen3.8-27B⚡ Jev🌐 Perplexity
AD赞助内容

记忆提取税暴降 3061 倍!Engram 发布预注册智能体记忆实验:原始轮次精选打平事实蒸馏,打破记忆神话

在自主智能体(LLM Agents)架构设计中,持久化跨会话记忆长期存在两条针锋相对的技术路线:一条主张使用昂贵的大模型异步将多轮对话‘蒸馏提取(Fact Extraction)’为三元组或结构化摘要记忆库(如 Mem0、Zep);另一条则主张直接保留‘原始对话轮次(Raw Turns)’并依靠检索排序进行上下文注入。学术界过去对两者的优劣各执一词。研究团队在 Zenodo 平台完成了严谨的科学预注册,并在 LoCoMo 与 LongMemEval 两大基准上展开了首个双盲受控实验(arXiv:2609.34227)。实验给出了令人震动的明确结论:在紧凑预算下,使用微型类型化决策模型 Jev 直接精选出的原始对话轮次,在下游任务准确率上与耗资巨大的大模型提取记忆库达成非劣效(Non-Inferiority,统计置信度 95%),而写入记忆的计算与 API 成本足足降低了 3,061 倍!此外,研究首次阐明了重排序(Reranking)与预算大小的因果关系,并指出盲目重排序会严重削弱智能体的正确弃权(Correct Abstention)能力。开源代码库与评估数据已发布(github.com/ris3abh/Engram)。

核心要点速览

  • 首个完成科学预注册的双盲智能体记忆实证研究 Engram,系统对比原始轮次精选与大模型事实提取
  • 紧凑预算下轻量决策模型 Jev 挑选的原始对话与昂贵 LLM 提取达成统计非劣效,而记忆写入成本骤降 3,061 倍
  • 揭示重排序增益随上下文预算扩大急剧衰减,并实证激进重排会破坏模型在证据不足时的正确弃权(Abstention)能力
阅读全文
关联模型 / 智能体 / 厂商:

OpenRouter 上线 Model Router Benchmarks:7 个路由对照 6 项基准的质量、速度与成本

OpenRouter 于 2026-10-02 上线 Model Router Benchmarks:7 个模型路由(Auto、Jev、NVIDIA Switchyard、Unbiased Pareto、Sakana Fugu 等)在 GPQA Diamond、Tau3 Banking、MMMU Pro Vision、SWE Atlas QA、Deep SWE、Terminal Bench 2.1 上对照质量、速度和成本。Router Index 默认质量 60% / 时间 20% / 成本 20%。openrouter/pareto-code 与 Fusion 不在这张榜上。

OpenRouter 上线 Model Router Benchmarks:7 个路由对照 6 项基准的质量、速度与成本

核心要点速览

  • 官宣:@OpenRouter 2026-10-02 22:08 UTC;博文 Model Router Benchmarks(Brian Thomas,10/2/2026);页面 openrouter.ai/benchmarks/routers
  • 七个路由 slug:openrouter/auto、typesafe/jev-router、nvidia/switchyard、unbiased/pareto、sakana/fugu-max、sakana/fugu-ultra、sakana/fugu-ultra-v2。openrouter/pareto-code 与 Fusion 未入榜
  • Router Index 默认质量 60% / 时间 20% / 成本 20%(0–10,可调权重),不等于原始正确率
  • 公开 stats(2026-10-04 SGT):Deep SWE 113 题,Switchyard Flash+Opus 5.5 与只走 Opus 5.5 均为 83/113(约 $279 / $285);Flash+GPT-6 Sol 74/113、约 $55
  • Terminal Bench 2.1(89 题):GPT-6 Astra 直连 77/89($66.50),Opus 5.5 74/89($24.00);Pareto 同题量一档 71/89($27.20)
阅读全文
关联模型 / 智能体 / 厂商:
⚡ openrouter/auto⚡ typesafe/jev-router⚡ nvidia/switchyard⚡ unbiased/pareto⚡ sakana/fugu-ultra-v2⚡ openrouter/pareto-code🌐 OpenRouter🌐 NVIDIA🌐 Sakana🌐 TypeSafe🌐 Unbiased

打破逐 Token 低效生成!上海交大开源 JevSpawn:组合动作空间赋能自适应推理,多智能体导航加速跃升

大语言模型智能体传统上依赖逐 Token 生成(Token-by-Token)中间推理与环境动作,导致多轮长程交互推理极度缓慢且计算成本极高。基于有限域概率预测的 Jev 风格轻量级模型虽然具备超高速执行优势,但必须依赖预先静态指定离散动作域,无法直接处理开放世界中高度动态、自然语言驱动的复杂决策任务。上海交通大学(SJTU)团队提出了创新的自适应推理策略 JevSpawn。该框架创造性地在自然语言任务规格说明与有限概率探索之间架起桥梁:通过并行动作繁衍(Action Spawning)、反馈驱动的分支优选、表征实时校正及保留备选项恢复机制,极大削减了上下文重复计算;在无需任何额外模型微调的前提下,在 8 大基准任务上全面击败 7 款主流智能体基线,推理延时显著降低。

打破逐 Token 低效生成!上海交大开源 JevSpawn:组合动作空间赋能自适应推理,多智能体导航加速跃升

核心要点速览

  • 首创在开放自然语言指令与超高速有限域概率探索间建立自适应桥梁的 JevSpawn 框架
  • 通过动作并行繁衍与前缀 KV Cache 共享,单轮决策生成延迟大幅削减超过 45%
  • 完全免训练(Training-Free)即插即用,在 8 大基准任务上全面击败 7 款主流智能体基线
阅读全文

Earendil 发布 Pi 1.0:极简可扩展 Agent Harness 稳定版;Codemode+MCP 内建,GitHub ★11.1 万 / HN 1645 分

Earendil 于 2026-10-01 正式发布 Pi 1.0(MIT):把极简编码 Agent harness 钉成稳定版。内建 Codemode(QuickJS 沙箱跑模型写的 JS,可并行调工具/Jev/图像模型)与 MCP、虚拟模型路由、延迟工具加载、Anthropic cache warming、会话中途改系统提示。本跑 gh api:★111793;HN 主帖 1645 分 / 573 评。另发实验包 Pi Durable。

核心要点速览

  • 官方博文:Pi 1.0(2026-10-01);GitHub Release:v1.0.0 发布于 2026-10-01T19:20:55Z;许可证 MIT
  • 本跑 GitHub API:★111793(earendil-works/pi);HN「Pi 1.0」1645 分 / 573 评(2026-10-01)
  • 1.0 亮点:Codemode+MCP、虚拟模型、deferred tools、Anthropic cache warming、mid-conversation system messages、默认全屏 TUI;changelog 称默认工具+codemode 下 GPT-5.6 请求约 5300→3300 prompt tokens(约 −40%)
  • 与已入库 NVIDIA SoL-Pi 不同产品:本条是 Earendil 的 Pi coding-agent harness,非 NVIDIA 加速框架
  • 开箱:curl -fsSL https://pi.dev/install.sh | sh 或 npm i -g --ignore-scripts @earendil-works/pi-coding-agent;文档 pi.dev
阅读全文
关联模型 / 智能体 / 厂商:

llama.cpp 原生 Decision Models:/v1/systemone 一次前向出概率;支持 Julia-1/Laya/Kev-4B/lev/OpenJev

ggml-org 于 2026-10-02 宣布 llama.cpp server 合并 PR #29818,新增 /v1/systemone:对状态(文本/JSON/截图)与 typed 问题做单次前向打分,兼容 TypeSafe Jev / System One 客户端。首批模型:Julia-1(144M)、Laya(421M)、Kev-4B、lev、OpenJev(27B+视觉)。Cloudflare Clef 列为后续。

llama.cpp 原生 Decision Models:/v1/systemone 一次前向出概率;支持 Julia-1/Laya/Kev-4B/lev/OpenJev

核心要点速览

  • 官方博文:New in llama.cpp: Decision Models(2026-10-02);实现:PR #29818 合并于 2026-10-02T09:56Z(+2139/−15)
  • API:POST /v1/systemone;问题类型 choice / score / noul;响应含 probabilities + confidence;output_tokens: 0
  • 首批 GGUF:ggml-org/{Julia-1,Laya,Kev-4B,lev,OpenJev}-GGUF;RTX PRO 6000 官方中位时延约 3–43 ms/问
  • 与已入库 Ollama 0.35 / Cloudflare Clef 不同栈:本地 llama.cpp 推理运行时原生 System One;博文写明 Clef 将跟进
  • 开箱:llama serve -hf ggml-org/Kev-4B-GGUF 后 curl localhost:8080/v1/systemone;router 模式可按请求选模型
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Julia 1⚡ laya⚡ Kev 4b⚡ lev⚡ openjev🌐 ggml-org🌐 huggingface