AI 编程实时动态与要闻速递 — 𝕏/Twitter 一手信源

👀98

🔥80

LM Studio Bionic 1.1.10 接入 oMLX 引擎：Mac 本地模型可用内存加 SSD 两级 KV 缓存，并支持 MLX 投机解码

LM Studio 于 10 月 29 日 15:32（UTC）在 X 上宣布，用户现在可以在 LM Studio 里下载新的 oMLX 引擎，直接用于已下载的 MLX 模型；官方更新日志把它列为 Bionic 1.1.10 的新功能，同版本还加入 MLX 模型投机解码和应用内终端。oMLX 是韩国开发者 jundot 维护的 Apple Silicon 开源推理服务器（Apache 2.0，GitHub 约 2.3 万星），主打连续批处理和内存加 SSD 的两级 KV 缓存。官方未公布 LM Studio 内的速度对比。

核心要点速览

LM Studio 官方宣布可在应用内下载 oMLX 引擎，直接使用已有 MLX 模型，原帖约 540 赞（原帖）
Bionic 1.1.10 更新日志（10 月 29 日）同时列出 MLX 投机解码、应用内终端公开可用和 llama.cpp 2.66.0 扩展包（更新日志）
oMLX 为 Apache 2.0 开源项目，GitHub 约 23,000 星，要求 macOS 15+ 与 Apple Silicon（M1 到 M5）（GitHub）
oMLX 的核心是两级 KV 缓存：热块放内存，溢出块以 safetensors 格式写入 SSD，前缀相同的请求甚至重启后也可从磁盘恢复
LM Studio 未公布该引擎与原 MLX 引擎的速度对比；发布后已有用户反馈「重启以应用更新」失败，官方正在排查

阅读全文

关联模型 / 智能体 / 厂商:

⚡ MLX🤖 LM Studio 🤖 oMLX 🌐 LM Studio 🌐 Hugging Face 🌐 Apple

#LM Studio#oMLX#MLX#Apple Silicon#本地大模型#KV 缓存#inference engine

GitHub Next@GitHubNext·45 天前收录

👀134

🔥91

查看推特原帖 ↗

GitHub Next 开源 LocalJev：用 oMLX 在本地跑兼容 Jev 的决策 API

GitHub Next 开源 LocalJev（github.com/githubnext/localjev）：在团队尚未全员拿到 TypeSafe Jev 访问权时，用一上午搭出「穷人版 Jev」。它在 Bun/TypeScript 上提供兼容的 POST /v1/systemone API，默认经 oMLX 调用本地 DiffusionGemma 等模型，并评测了 DiffusionGemma、Qwen MoE、Gemma 4 MoE 与 Gemma 4 e4b/e2b；评测报告在仓库内。LocalJev 服务器可对接常规 Jev API 封装库，但概率来自模型自报而非 logit 直读，需自行校准。

核心要点速览

开源 LocalJev：本地兼容 Jev 的 POST /v1/systemone 决策 API（Bun/TypeScript）。
默认经 oMLX 跑 DiffusionGemma 等本地模型，并附多模型评测报告。
可对接常规 Jev 客户端库；概率为模型自报而非 logit 直读，需自行校准。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ diffusiongemma⚡ qwen⚡ Gemma 4🌐 github

#LocalJev#GitHub Next#Jev#TypeSafe#oMLX#DiffusionGemma#本地大模型#决策模型

Inco AI@inco_ai·46 天前收录

👀203

🔥93

查看推特原帖 ↗

Inco 开源 Splash：M5 Max 上 Qwen3.8-27B 达约 144 tok/s，专为 Apple 硅优化

Inco AI 发布开源本地推理引擎 Splash，面向 Apple 硅与 Qwen3.8-27B 等型号优化。官方称在 M5 Max MacBook Pro 上可达约 144 tok/s，解码速度约为 Ollama 的 3 倍、oMLX 的 2 倍，智能体扇出子代理时接近 4 倍；LM Studio 已在 Day 0 接入并可在 Settings > Runtime > Experimental backends 启用。

核心要点速览

开源 Splash：专为 Apple 硅与 Qwen3.8-27B 优化的本地推理引擎。
官方演示：M5 Max 上约 144 tok/s；相对 Ollama/oMLX 可达约 3×/2×，子代理扇出时接近 4×。
LM Studio Day 0 接入；引擎仓库 github.com/incoai/splash，说明见 lmstudio.ai/blog/splash-engine。

阅读全文

关联模型 / 智能体 / 厂商:

⚡ Qwen3.8-27B 🌐 inco 🌐 Qwen (通义千问)🌐 lmstudio

#Inco#Splash#Qwen3.8-27B#Apple Silicon#M5 Max#LM Studio#本地推理#开源