AI 编程实时动态与要闻

阿里巴巴淘宝 MNN 推理引擎团队于 2026-11-04 在 GitHub alibaba/MNN 与 Hugging Face（taobao-mnn）发布 MNN-Pocket-0.3B，这是一个与 MNN 推理栈协同设计、面向手机 App 的约 3 亿参数中英双语指令模型，Apache 2.0 许可。官方模型卡称：INT4（W4A16）QAT 构建仅 173MB，支持 32K 上下文，在 iPad Pro M5（Metal）上解码最高 466 token/s，iPhone 18 Pro 实测约 350 token/s；在 11 项中英评测上平均 50.00，高于 Qwen3-0.6B（44.28）等更大的约 5 亿参数基线（均为官方口径）。同系列还放出 Base、SFT、GGUF、MNN 端侧包和一次前向即作答的 Dec 决策模型。11-08 起已有第三方 iOS 应用 Local LLM 接入、社区转出 LiteRT 版本。官方明确不建议用于高阶数学和长代码生成。

查看大图

2026-11-06，Voyager / vork 作者 Ravi Parikh（@ravisparikh，GitHub swag）在 X 发帖宣布 vork：面向 AI Agent 的无界面 3D/VFX 引擎（Rust + Slang，Vulkan/Metal）。官方称入门帮助约 2500 tokens；百万只独立轨迹鸟群在单卡 NVIDIA L4 上渲染约 97 秒。GitHub voyager-so/vork 研究预览源码可用，预览期免费。此为作者第一人称发布，非大厂官方产品线。

查看大图

10 月 20 日，法国语音 AI 公司 Gradium 开源 Phonon 端侧文本转语音模型家族：英文 Phonon 31m（q8 权重 64 MB，Apache 2.0）和 Phonon 40m（英/法/德/西/葡单语版与五语合一版，CC BY-NC 非商用）。模型基于 Kyutai 的 Pocket TTS 和 Mimi 编解码器，自带推理栈，覆盖 CPU、Metal、CUDA、Vulkan、WebGPU、Core ML 和骁龙，可在手机、浏览器、树莓派上离线运行。官方称 MacBook Air M5 CPU 上首段音频 7 毫秒，Kokoro 为 517 毫秒。

查看大图

ggml-org 于 2026-09-23 发布 llama.cpp v0.5.0：CUDA conv2d 改隐式 GEMM 加速、Metal 侧 MoE 与 SSM_CONV 融合；server 支持多地址/--host 逗号列表与 UNIX socket；转换层新加 HRM-Text（DFM Mimir 1B）、MiMo-V2.6、HunyuanOCR（DFlash），并捆绑 ggml 0.25.0。

查看大图

本地大模型推理运行时标杆 Ollama（@ollama）正式推出 v0.40.0 大版本更新。本次更新最具突破性的变革是：在搭载 Apple Silicon（M1 至 M5 芯片）的 Mac 设备上，Ollama 默认全面采用苹果官方原生 MLX 推理后端替代传统 llama.cpp 运行时。首批支持以原生 MLX 模式零配置运行 Qwen 3.8、Llama 3 等核心架构，彻底打通苹果统一内存的高带宽通道，本地推理首 Token 延迟降低 42%，持续生成吞吐量实现近乎翻倍的提升。

查看大图