AICoder

AI 编程实时动态与要闻

基于 𝕏 (Twitter) 权威实验室与科学家一手信源，经 AI 降噪提炼核心事实，联动全网模型评测与智能体生态。

在 𝕏 上探索最新发文 ↗

AI 编程实时动态与要闻

L
LM Studiolmstudio·
👀82
🔥80
查看推特原帖 ↗

LM Studio Bionic 1.1.10 接入 oMLX 引擎：Mac 本地模型可用内存加 SSD 两级 KV 缓存，并支持 MLX 投机解码

LM Studio 于 10 月 29 日 15:32（UTC）在 X 上宣布，用户现在可以在 LM Studio 里下载新的 oMLX 引擎，直接用于已下载的 MLX 模型；官方更新日志把它列为 Bionic 1.1.10 的新功能，同版本还加入 MLX 模型投机解码和应用内终端。oMLX 是韩国开发者 jundot 维护的 Apple Silicon 开源推理服务器（Apache 2.0，GitHub 约 2.3 万星），主打连续批处理和内存加 SSD 的两级 KV 缓存。官方未公布 LM Studio 内的速度对比。

LM Studio Bionic 1.1.10 接入 oMLX 引擎：Mac 本地模型可用内存加 SSD 两级 KV 缓存，并支持 MLX 投机解码

核心要点速览

  • LM Studio 官方宣布可在应用内下载 oMLX 引擎，直接使用已有 MLX 模型，原帖约 540 赞（原帖）
  • Bionic 1.1.10 更新日志（10 月 29 日）同时列出 MLX 投机解码、应用内终端公开可用和 llama.cpp 2.66.0 扩展包（更新日志）
  • oMLX 为 Apache 2.0 开源项目，GitHub 约 23,000 星，要求 macOS 15+ 与 Apple Silicon（M1 到 M5）（GitHub）
  • oMLX 的核心是两级 KV 缓存：热块放内存，溢出块以 safetensors 格式写入 SSD，前缀相同的请求甚至重启后也可从磁盘恢复
  • LM Studio 未公布该引擎与原 MLX 引擎的速度对比；发布后已有用户反馈「重启以应用更新」失败，官方正在排查
阅读全文
关联模型 / 智能体 / 厂商:
⚡ MLX🤖 LM Studio🤖 oMLX🌐 LM Studio🌐 Hugging Face🌐 Apple
#LM Studio#oMLX#MLX#Apple Silicon#本地大模型#KV 缓存#inference engine
S
SGLang Project@huggingface·
👀86
🔥94

SGLang v0.5.22 重磅发布：DeepSeek-V4.1 在 H200 吞吐提升 2.3 倍、MI355X 提速 1.9 倍，InstantTensor 载入提速 10 倍

SGLang 团队正式发布 v0.5.22 大版本更新（凝聚 245 位贡献者提交的 950 个 PR）：深度优化 DeepSeek-V4.1 推理性能，在 H200 单卡吞吐狂飙 2.3 倍，并通过 DSpark 首次在 AMD MI350X/MI355X 实现 1.9 倍吞吐提升；首创 InstantTensor 加载器将大模型冷启动显存载入提速 10 倍；B200 上 Qwen3.8-Flash-Next 解码提速 12%、B300 上 GLM-5.3-Flash 提速 10% 且 MiMo-V2.6-Pro 解码吞吐达 1.85 倍；并原生支持苹果 Apple Silicon 与 ComfyUI 扩散生态。

SGLang v0.5.22 重磅发布：DeepSeek-V4.1 在 H200 吞吐提升 2.3 倍、MI355X 提速 1.9 倍，InstantTensor 载入提速 10 倍

核心要点速览

  • SGLang v0.5.22 正式发布，汇聚 245 位贡献者的 950 个 PR
  • DeepSeek-V4.1 在 NVIDIA H200 单卡吞吐暴涨 2.3 倍，并通过 DSpark 首次在 AMD MI350X/MI355X 实现 1.9 倍吞吐提升
  • 全新 InstantTensor 加载器将千亿模型冷启动载入速度提升 10 倍（10x faster）
  • B200 上 Qwen3.8-Flash-Next 解码提速 12%，B300 上 GLM-5.3 提速 10% 且 MiMo-V2.6-Pro 解码达 1.85 倍
  • PD 分离架构使长 Prompt 首字延迟 p95 TTFT 减半（-50%），吞吐净增 27%，原生支持 Apple Silicon 与 ComfyUI
阅读全文
关联模型 / 智能体 / 厂商:
#SGLang#DeepSeek-V4.1#AMD MI355X#B200#B300#推理
S
Strands Agents (AWS)strands-agents·
👀91
🔥85

AWS 开源 Strands Box：OS 级隔离 + Dogwood 时序策略，给 YOLO 模式的编码 Agent 套上确定性缰绳

AWS 于 10 月 7 日发布开源 Agent 沙箱 Strands Box v0.1.0（Rust，Apache 2.0）。它把操作系统级隔离与 Dogwood 策略语言结合：Shell、Python、出站网关和 MCP 调用都先经过同一个默认拒绝的策略引擎，并共享事件历史，规则可以依据“之前做过什么、过了多久”来放行或拒绝。凭证由网关注入，Agent 拿不到明文密钥。目前仅支持 Apple 芯片 macOS，Linux 开发中。

AWS 开源 Strands Box：OS 级隔离 + Dogwood 时序策略，给 YOLO 模式的编码 Agent 套上确定性缰绳

核心要点速览

  • 版本与许可：v0.1.0 于 2026-10-07 17:24 UTC 发布，Rust 编写，Apache 2.0（GitHub）
  • 默认拒绝：经策略引擎检查的操作必须命中 permit 才放行，forbid 优先级更高（Dogwood）
  • 时序规则示例：允许 Agent 发 Slack 状态，但每 10 分钟最多 3 次；也可限制 git push 时机或给 API 调用设上限（The Register）
  • 平台：目前仅 Apple 芯片 macOS 15+；Linux 开发中，Windows 在规划，AgentCore / ECS / Kubernetes 部署计划中
  • 跑分：AWS 未公布性能或安全基准数据
阅读全文
关联模型 / 智能体 / 厂商:
🤖 Strands Agents🤖 Claude Code🌐 AWS
#AWS#Strands Box#Dogwood#沙箱#Agent 安全#MCP#开源#Rust
G
Gökdeniz GülmezGoekdeniz-Guelmez·
👀83
🔥78

MLX-LM-LoRA v5.8.6：Apple Silicon 本地微调库从 3.1.3 跃升，新增 DSLA 偏好对齐与无 Critic 的 KLPO 强化学习

Gökdeniz Gülmez 于 10 月 5 日发布 MLX-LM-LoRA v5.8.6（GitHub Release + PyPI 同步上线），这是 3.1.3 之后的大版本。新增 DSLA（可选 DPO/ORPO/CPO 目标）与无 Critic 的 KLPO（token/sequence 两种路线、多种 KL 估计器），改进 GRPO 数值稳定性与 Online DPO/XPO/RLHF/PPO 微批处理，为 gated-delta 层加入快速 VJP。最低依赖升至 mlx>=0.32.3、mlx_lm>=0.32.0、Python>=3.11，许可证统一为 Apache 2.0。

核心要点速览

  • 版本跨度：从 v3.1.3（9 月 16 日）直接跳到 v5.8.6，合并 PR #64、#94、#96–#102 共 9 个，见 Release 说明。
  • 两种新训练模式：--train-mode dsla（--dsla-loss dpo|orpo|cpo，默认 --latent-weight 0.1）与 --train-mode klpo（--klpo-route token|sequence，--klpo-kl-estimator mc|binary|topk|full）。
  • KLPO 不使用 GRPO 组归一化、PPO 比率裁剪，也不需要参考模型，复用 GRPO 奖励回调与生成/打分流水线。
  • 依赖门槛提高：mlx>=0.32.3、mlx_lm>=0.32.0、Python >=3.11，旧环境需先升级。
  • QAT 扩展到 DSLA；新增 Python API 参考文档，见 官方文档站。
阅读全文
关联模型 / 智能体 / 厂商:
🌐 apple
#MLX#MLX-LM-LoRA#Apple Silicon#微调#DPO#RLHF#KLPO#DSLA
AD赞助内容
U
Unsloth@unslothai·
👀99
🔥94

Unsloth v0.1.900-beta：本地跑 Laya Decision 模型 + Skills 编辑器，LTX-2.3 视频约 4.5×、VAE 解码最高 6.3×

Unsloth 于 2026-09-28 发布 v0.1.900-beta（PyPI unsloth 2026.9.12）：Desktop 可本地运行 Laya 等 Decision 模型（Jev 兼容 /v1/systemone），新增 Skills 创建/编辑/删除与 Library 文档查看器（PDF/Word/Excel/PPT）；Apple Silicon 侧补齐批服务、结构化输出与 TurboQuant KV；图像/视频管线宣称 LTX-2.3 片段约 4.5×、VAE 解码 1.7–6.3×，MiniMax-H3 首渲最高快约 1 分钟且峰值显存降 25–29 GiB。

Unsloth v0.1.900-beta：本地跑 Laya Decision 模型 + Skills 编辑器，LTX-2.3 视频约 4.5×、VAE 解码最高 6.3×

核心要点速览

  • 发版：v0.1.900-beta（2026-09-28）；对比 v0.1.815-beta；PyPI unsloth 2026.9.12
  • Decision：本地 Laya/Jev，Settings > API 开启 Decision API，TypeSafe 走 /v1/systemone；Apple Silicon 可选 MLX（#11603）
  • 媒体加速：LTX-2.3 片段约 4.5×；VAE 解码 1.7–6.3×；MiniMax-H3 首渲最高快约 1 分钟，峰值显存降 25–29 GiB（A100/B200/RTX PRO 6000）
  • 产品面：Skills 编辑器 + Library（PDF/Word/Excel/PPT）；ModelScope 下载通道；Apple Silicon 批服务 / response_format 语法约束 / TurboQuant KV
  • 文档入口：docs.unsloth.ai / 仓库
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Laya⚡ LTX-2.3⚡ MiniMax-H3⚡ Gemma-4🤖 Unsloth-Studio🌐 Unsloth
#Unsloth#决策模型#Jev#技能#Apple Silicon#MLX#LTX#微调
X
Xorbits AI@XorbitsAI·
👀66
🔥93

Xinference v3.5.0 正式发布：全栈支持 YuE2 音乐生成、MinerU2.5 文档解析与 Apple MLX 语音生态

开源一站式分布式大模型推理框架 Xinference（xorbitsai/inference）正式发布 v3.5.0 重大更新。新版本全面升级多模态推理矩阵：在音频与音乐领域原生集成 YuE2 音乐生成大模型，并新增对 AuK / AuK-Flash 与 Irodori TTS v4.1 的支持；在 Apple Silicon 生态中，针对 FishAudio-S2-Pro、Irodori TTS Small 与 Breeze TTS 2 实现原生 Apple MLX 硬件加速。此外，新版集成了商汤 MinerU2.5 高密度复杂文档解析大模型与 LingBot-World-V2 具身世界模型，并在核心引擎中支持端到端 Actor 调用链路元数据（Correlation Metadata）穿透，显著提升分布式 Agent 推理集群的可观测性。

Xinference v3.5.0 正式发布：全栈支持 YuE2 音乐生成、MinerU2.5 文档解析与 Apple MLX 语音生态

核心要点速览

  • 多模态音乐与语音矩阵：原生接入 YuE2 歌声与音乐生成模型，新增 AuK、AuK-Flash 以及 Irodori TTS v4.1
  • Apple Silicon MLX 加速：FishAudio-S2-Pro、Irodori TTS Small 与 Breeze TTS 2 获得原生 MLX 算子加速，Mac 统一内存利用率翻倍
  • 专业文档与世界模型：一键部署复杂版面与公式解析 SOTA 模型 MinerU2.5，同步集成具身实体世界模型 LingBot-World-V2
  • 分布式链路可观测性：在 Ray / Actor 底层通信中全自动透传 Correlation Metadata，多 Agent 并发调用排查效率提升 3 倍
  • 企业级审计与环境：新增可选的模型请求日志记录（Opt-in Request Logging）并优化虚拟环境依赖包细节展示与排序
阅读全文
关联模型 / 智能体 / 厂商:
⚡ YuE2⚡ FishAudio-S2-Pro⚡ MinerU2.5⚡ LingBot-World-V2🤖 Xinference Worker🌐 Xorbits AI🌐 SenseTime
#Xinference#Model Serving#Apple MLX#YuE2#FishAudio#MinerU#分布式推理
O
Ollama@ollama·
👀114
🔥95

Ollama v0.40 重磅发布：Apple Silicon 默认启用苹果原生 MLX 运行时，端侧推理吞吐量翻倍

本地大模型推理运行时标杆 Ollama（@ollama）正式推出 v0.40.0 大版本更新。本次更新最具突破性的变革是：在搭载 Apple Silicon（M1 至 M5 芯片）的 Mac 设备上，Ollama 默认全面采用苹果官方原生 MLX 推理后端替代传统 llama.cpp 运行时。首批支持以原生 MLX 模式零配置运行 Qwen 3.8、Llama 3 等核心架构，彻底打通苹果统一内存的高带宽通道，本地推理首 Token 延迟降低 42%，持续生成吞吐量实现近乎翻倍的提升。

Ollama v0.40 重磅发布：Apple Silicon 默认启用苹果原生 MLX 运行时，端侧推理吞吐量翻倍

核心要点速览

  • 在所有搭载 Apple Silicon 的 Mac 设备上，Ollama 默认自动路由至苹果官方 MLX 高性能执行引擎。
  • 彻底释放 Mac 统一内存带宽优势，Qwen 3.8 与 Llama 3 本地推理吞吐量平均提升 85%，首 Token 延迟下降 42%。
  • 开发者无需重新编译或手动切换后端，执行标准 ollama run qwen3.8 即可零摩擦激活 MLX 加速。
  • GitHub Releases 已提供各平台更新包与完整提交日志，国内开发者可免代理直连获取。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Qwen 3.8⚡ Llama 3.1 8b🤖 local-agent🌐 ollama🌐 apple
#Ollama#Apple Silicon#MLX#本地大模型#性能#发布
I
Inco AI@inco_ai·
👀203
🔥93
查看推特原帖 ↗

Inco 开源 Splash：M5 Max 上 Qwen3.8-27B 达约 144 tok/s，专为 Apple 硅优化

Inco AI 发布开源本地推理引擎 Splash，面向 Apple 硅与 Qwen3.8-27B 等型号优化。官方称在 M5 Max MacBook Pro 上可达约 144 tok/s，解码速度约为 Ollama 的 3 倍、oMLX 的 2 倍，智能体扇出子代理时接近 4 倍；LM Studio 已在 Day 0 接入并可在 Settings > Runtime > Experimental backends 启用。

核心要点速览

  • 开源 Splash：专为 Apple 硅与 Qwen3.8-27B 优化的本地推理引擎。
  • 官方演示：M5 Max 上约 144 tok/s；相对 Ollama/oMLX 可达约 3×/2×，子代理扇出时接近 4×。
  • LM Studio Day 0 接入；引擎仓库 github.com/incoai/splash，说明见 lmstudio.ai/blog/splash-engine。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Qwen3.8-27B🌐 inco🌐 Qwen (通义千问)🌐 lmstudio
#Inco#Splash#Qwen3.8-27B#Apple Silicon#M5 Max#LM Studio#本地推理#开源
P
Perplexity@Perplexity_AI·
👀65
🔥91
查看推特原帖 ↗

Perplexity 开源 Lily：面向 Apple 芯片的 Qwen3.6 本地推理引擎

Perplexity（@Perplexity_AI）宣布开源 Lily，这是其为 Perplexity Computer 混合算力打造的本地推理引擎。Lily 针对 Apple 芯片上的 Qwen3.6-35B-A3B 优化，避免端侧算力拖慢 Computer 任务。

核心要点速览

  • 官方开源 Lily，服务 Perplexity Computer 的混合本地/云端算力。
  • 专为 Apple silicon 上的 Qwen3.6-35B-A3B 优化本地推理。
  • 目标：让端侧推理不再成为 Computer 智能体任务的瓶颈。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Qwen3.6-Plus🤖 Cursor Composer (Agent Mode)🤖 Claude Code (Anthropic)🌐 perplexity🌐 alibaba
#Lily#Perplexity#Qwen3.6#Apple silicon#本地推理#开源
已呈现全部最新动态