AI 编程实时动态与要闻

X 热议:Sam Altman 称个人电脑占用稀缺 DRAM「相当糟糕」,本地推理派强烈反弹

Stripe 联合创始人 John Collison 的 Cheeky Pint 播客 10 月 29 日上线 Sam Altman 专访。谈到内存短缺时,Altman 说很多人以为开源模型加本地推理就能绕开算力紧张,但从全球配置角度看,让每个人电脑里放着一堆稀缺 DRAM、只有约 5% 的时间在用「相当糟糕」,供给紧张时应追求云端的最大利用率。pubity 转述这段话的帖子获得 2.6 万多点赞、800 多万次浏览,大量用户反驳称 PC 内存并非只为 AI 服务,本地模型还关乎隐私和离线可用。以下按观点讨论整理,不代表已证实结论。

X 热议:Sam Altman 称个人电脑占用稀缺 DRAM「相当糟糕」,本地推理派强烈反弹

核心要点速览

  • 出处:Cheeky Pint 播客 10 月 29 日 Sam Altman 专访,官方文字稿可查,原话含「being used 5% of the time」
  • Altman 的论点:DRAM 供给紧张时,放在个人电脑里的内存利用率低,云端数据中心可持续服务多用户,应追求最大利用率
  • 热度(X API,10 月 31 日 13:06 SGT 读取):pubity 帖 26,124 赞、8,557 条引用、5,210 条回复、约 806 万次浏览
  • 主要反驳:PC 内存还要跑系统、浏览器和游戏;本地模型让数据留在本机;也有人指出这与 OpenAI 的云端商业模式一致
  • 5% 这个数字 Altman 未解释口径,媒体建议当作粗略估计而非测量值
阅读全文
关联模型 / 智能体 / 厂商:

OpenHands v1.23.0 正式发布:多智能体编排引擎升级,全面支持自主回归验证

开源自主编码智能体平台 OpenHands(@OpenHandsAI,原 OpenDevin)正式发布 v1.23.0 版本。本次发布重点升级了多 Agent 编排流水线与沙箱安全运行时,引入了针对复杂工程项目的即时回归评测套件,并优化了与本地模型(vLLM、Ollama)的高性能集成。

OpenHands v1.23.0 正式发布:多智能体编排引擎升级,全面支持自主回归验证

核心要点速览

  • 全新多 Agent 分工模式支持 Planner、Coder 与 Verifier 三位一体协同解决复杂 PR。
  • 本地 Docker 沙箱启动与执行延迟优化 35%,支持亚秒级命令执行与文件状态热监听。
  • 内置 SWE-bench Verified 自动化回归基准,开发者在本地即可一键验证自定义 Agent 表现。
  • 全量源码与预构建镜像均已在 GitHub 发布,国内开发者可直接通过国内镜像拉取运行。
阅读全文

Inco 开源 Splash:M5 Max 上 Qwen3.8-27B 达约 144 tok/s,专为 Apple 硅优化

Inco AI 发布开源本地推理引擎 Splash,面向 Apple 硅与 Qwen3.8-27B 等型号优化。官方称在 M5 Max MacBook Pro 上可达约 144 tok/s,解码速度约为 Ollama 的 3 倍、oMLX 的 2 倍,智能体扇出子代理时接近 4 倍;LM Studio 已在 Day 0 接入并可在 Settings > Runtime > Experimental backends 启用。

核心要点速览

  • 开源 Splash:专为 Apple 硅与 Qwen3.8-27B 优化的本地推理引擎。
  • 官方演示:M5 Max 上约 144 tok/s;相对 Ollama/oMLX 可达约 3×/2×,子代理扇出时接近 4×。
  • LM Studio Day 0 接入;引擎仓库 github.com/incoai/splash,说明见 lmstudio.ai/blog/splash-engine。
阅读全文

Magnitude 开源本地推理服务:按硬件选型跑模型,可接入 Codex / Claude Code / Cline / Hermes

开源项目 magnitudedev/magnitude(Apache-2.0,约 3.1k stars)是本地推理服务:剖析本机硬件、推荐合适本地模型,再下载、调优并运行;可接到 Codex、Claude Code、Cline、Hermes。模型按需加载,内存紧张时自动卸载,便于在已有编码智能体里用本地模型。

核心要点速览

  • 开源:magnitudedev/magnitude,Apache-2.0,约 3.1k stars。
  • 能力:硬件剖析、推荐本地模型、按需加载/内存紧张卸载。
  • 接入:Codex、Claude Code、Cline、Hermes。
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

Perplexity 开源 Lily:面向 Apple 芯片的 Qwen3.6 本地推理引擎

Perplexity(@Perplexity_AI)宣布开源 Lily,这是其为 Perplexity Computer 混合算力打造的本地推理引擎。Lily 针对 Apple 芯片上的 Qwen3.6-35B-A3B 优化,避免端侧算力拖慢 Computer 任务。

核心要点速览

  • 官方开源 Lily,服务 Perplexity Computer 的混合本地/云端算力。
  • 专为 Apple silicon 上的 Qwen3.6-35B-A3B 优化本地推理。
  • 目标:让端侧推理不再成为 Computer 智能体任务的瓶颈。
阅读全文

Hugging Face 发布 2026 夏季开源模型报告:Qwen 系列领跑全球本地离线推理生态

Hugging Face 发布《2026 年夏季全球开源模型生态报告》,数据显示阿里通义千问 Qwen 系列在端侧部署、本地 IDE 插件(Ollama / vLLM / LM Studio)以及代码基准评测中占据超过 40% 的开源推理总调用量。

核心要点速览

  • 阿里 Qwen 系列在端侧硬件与本地开发者插件中的市占率突破 40%,成为最受青睐的开源基座;
  • 端侧量化与混合注意力(Sparse Attention)架构大幅降低了长程 Agent 在消费级显卡上的运行门槛;
  • 报告指出开源模型在 SWE-bench 与代码生成领域与闭源前沿差距已缩减至 6 个月以内。
阅读全文
关联模型 / 智能体 / 厂商: