AI 编程实时动态与要闻

Unsloth 发布 DeepSeek-V4.1-Flash-1017 动态 GGUF:1-bit 版 250GB、128GB+ 内存可本地跑,Engram 表可放 SSD

Unsloth 于 10 月 19 日(UTC)发布 DeepSeek-V4.1-Flash-1017 的动态 GGUF 量化与本地运行指南。按 Unsloth 口径,1-bit UD-IQ1_M 体积 250.4GB(无损 Q8 为 508.4GB),在 long17k 上与官方权重 top-1 一致率 88.2%,可在 128GB+ 内存设备上运行;模型的 Engram n-gram 表(110.6–202.8GB)可通过 mmap 留在 SSD 按需读取。目前需用 Unsloth 的 llama.cpp 分支或 Unsloth Desktop 运行。

Unsloth 发布 DeepSeek-V4.1-Flash-1017 动态 GGUF:1-bit 版 250GB、128GB+ 内存可本地跑,Engram 表可放 SSD

核心要点速览

  • 1-bit UD-IQ1_M 250.4GB,较无损 UD-Q8_K_XL(508.4GB)缩小约 51%;long17k top-1 一致率 88.2%、wiki1100 为 87.1%(Unsloth 指南,厂商口径)
  • 最小的 UD-IQ1_S 为 233.0GB,适配 128GB 内存设备(如 Mac、DGX Spark),top-1 一致率 82.8%–85.1%;3-bit UD-IQ3_XXS 需约 256GB(如 Mac Studio),一致率 94.6%–95.1%
  • 模型由 552B 主干加 196B Engram 参数组成,Engram n-gram 表 110.6–202.8GB 可经 mmap 留在 SSD 按需加载,省内存但不省磁盘
  • Unsloth 称其基于 llama.cpp 的实现比其他 CPU/显存/ngram 方案推理快约 3 倍(厂商口径,未见第三方复测)
  • HF 仓库 为 MIT 许可,提供 IQ1_S 到 Q8_K_XL 共 9 档量化,另附可单独替换精度的 Engram 文件
阅读全文
关联模型 / 智能体 / 厂商:

Unsloth v0.1.900-beta:本地跑 Laya Decision 模型 + Skills 编辑器,LTX-2.3 视频约 4.5×、VAE 解码最高 6.3×

Unsloth 于 2026-09-28 发布 v0.1.900-beta(PyPI unsloth 2026.9.12):Desktop 可本地运行 Laya 等 Decision 模型(Jev 兼容 /v1/systemone),新增 Skills 创建/编辑/删除与 Library 文档查看器(PDF/Word/Excel/PPT);Apple Silicon 侧补齐批服务、结构化输出与 TurboQuant KV;图像/视频管线宣称 LTX-2.3 片段约 4.5×、VAE 解码 1.7–6.3×,MiniMax-H3 首渲最高快约 1 分钟且峰值显存降 25–29 GiB。

Unsloth v0.1.900-beta:本地跑 Laya Decision 模型 + Skills 编辑器,LTX-2.3 视频约 4.5×、VAE 解码最高 6.3×

核心要点速览

  • 发版:v0.1.900-beta(2026-09-28);对比 v0.1.815-beta;PyPI unsloth 2026.9.12
  • Decision:本地 Laya/Jev,Settings > API 开启 Decision API,TypeSafe 走 /v1/systemone;Apple Silicon 可选 MLX(#11603)
  • 媒体加速:LTX-2.3 片段约 4.5×;VAE 解码 1.7–6.3×;MiniMax-H3 首渲最高快约 1 分钟,峰值显存降 25–29 GiB(A100/B200/RTX PRO 6000)
  • 产品面:Skills 编辑器 + Library(PDF/Word/Excel/PPT);ModelScope 下载通道;Apple Silicon 批服务 / response_format 语法约束 / TurboQuant KV
  • 文档入口:docs.unsloth.ai / 仓库
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Laya⚡ LTX-2.3⚡ MiniMax-H3⚡ Gemma-4🤖 Unsloth-Studio🌐 Unsloth

Unsloth 发布 v0.1.815 与 CUDA 13 预编译轮子:本地极速运行 Qwen-Image-2.1 并接入 Claude 规范 Agent Skills

知名大模型轻量高效训练与推理工具 Unsloth 正式发布 v0.1.815-beta 版本,并上线 Linux x86_64 CUDA 13 官方预编译二进制轮子(涵盖 Flash-Attention 2.8.4、Causal-Conv1D 与 Mamba-SSM)。新版本原生支持在本地消费级与企业级 GPU 上以 Fast FP8 与 GGUF(默认 Q4_K_M)量化运行阿里开源的多模态图像编辑与生成旗舰模型 Qwen-Image-2.1。此外,Unsloth 本地 UI 引入了深度兼容 Claude Code 与 .agents 规范的自定义 Agent Skills 体系,支持在聊天中以 @skill 快速编排专用技能,长链思考思维块渲染速率提升一倍达到 60 FPS。

Unsloth 发布 v0.1.815 与 CUDA 13 预编译轮子:本地极速运行 Qwen-Image-2.1 并接入 Claude 规范 Agent Skills

核心要点速览

  • CUDA 13 官方二进制:提供针对 PyTorch 2.13/2.14 与 Python 3.13 的 Flash-Attention 2.8.4、Causal-Conv1D 与 Mamba 预编译 Wheel,告别数小时本地编译
  • Qwen-Image-2.1 本地量化落地:支持 Fast FP8 与 GGUF Q4_K_M,完整覆盖图像生成与多轮指令式图像编辑,彻底修复 A100 黑块伪影
  • 全兼容 Agent Skills 体系:无缝复用已有 Claude Code 与 .agents 目录中的专用指令技能,聊天框支持 @skill 即时激活与参数传递
  • 思维链推理渲染翻倍:重构 CoT 思考块交互逻辑,长推理文本流式渲染速度从 30 FPS 提升至 60 FPS,交互顿挫感大幅消除
  • 多系统开箱即用:内置 Debian 应用内自动更新,并为 Ubuntu 24.04+ ARM64 架构提供专用独立安装器
阅读全文
关联模型 / 智能体 / 厂商:

单卡 RTX 3090 本地编码智能体实测:Qwen3.8-27B Q4 + llama.cpp 约 59 tok/s,工具调用更稳

@Brjen 团队在一块 RTX 3090(24GB)上花一周对比本地编码智能体配置,胜出组合为 Qwen3.8-27B Unsloth UD-Q4_K_XL + llama.cpp(65k 上下文、q8 KV、原生 MTP depth 2、全 GPU)。真实多步编码跑分约 59 tok/s(45k 上下文时约 46 tok/s),并通过嵌套工具 JSON、修失败测试与正确 unified diff 等门槛;认为 Q3 不可靠、更高量化挤占上下文,Flash-Next 需卸载反而不稳。

核心要点速览

  • 胜出:Qwen3.8-27B UD-Q4_K_XL + llama.cpp,65k 上下文与 MTP,全在 3090 GPU。
  • 多步编码约 59 tok/s;通过工具 JSON、修测与正确 diff 等实用门槛。
  • Q3/过重量化与需卸载的 Flash-Next 在 24GB 上不如该组合稳。
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

Unsloth:GLM-5.3-Flash 本地 GGUF 推理提速最高 3.3 倍,启用 MTP 与长上下文优化

Unsloth 宣布优化后的本地 GGUF 解码使 GLM-5.3-Flash 推理最高提速约 3.3 倍(常见场景约 1.6–3.4×),并启用多 token 预测(MTP)与更快的长上下文解码。3-bit 量化可在约 128GB 内存设备上通过 Unsloth Desktop 或 llama.cpp 运行,配套文档与 Hugging Face GGUF 权重已更新。

核心要点速览

  • 速度:本地 GGUF 推理最高约 3.3×,常见区间约 1.6–3.4×。
  • 能力:启用 MTP,并优化长上下文解码。
  • 落地:3-bit 可在约 128GB 设备用 Unsloth Desktop / llama.cpp;文档与 HF GGUF 已上线。
阅读全文
关联模型 / 智能体 / 厂商:

阿里通义开源 Qwen3.8-Flash:125B/6B 多模态 MoE,SWE-bench Pro 62.5,预览 Qwen4 架构

阿里通义千问开源多模态 MoE 模型 Qwen3.8-Flash,作为 Qwen4 架构早期预览。总参 125B 另加 51B N-gram 嵌入,每 Token 仅激活 6B;采用 GDN+QSA 混合注意力、Gated Residual 与 Muon 优化器。训练成本约为 Qwen3.7-Plus 的 1/9,却全面领先:DeepSWE 1.1 达 58.7、SWE-bench Pro 62.5、CoWorkBench 73.9、AndroidWorld 84.5、MathVision(含 CI)95.7。原生 262K 上下文,YaRN 可扩至 1M;1M 长度下 QSA 预填充最高 7.6 倍、解码 4.9 倍加速。QwenCloud 报价约 $0.15/$0.47 每百万 Token,权重已上线 Hugging Face,并获 NVIDIA NeMo、SGLang、Unsloth 与 OpenCode 的 Day-0 支持。

核心要点速览

  • 125B 总参、6B 激活,SWE-bench Pro 62.5、DeepSWE 1.1 58.7,训练成本约为上一代 Plus 的 1/9。
  • GDN+QSA 混合注意力在 1M 上下文下最高 7.6 倍预填充、4.9 倍解码加速。
  • 开源权重同步登陆 Hugging Face,QwenCloud / OpenRouter / OpenCode 与 NeMo、SGLang、Unsloth 提供 Day-0 接入。
阅读全文
关联模型 / 智能体 / 厂商:

Unsloth 发布 GLM-5.3-Flash 3-bit GGUF:320B 多模态大模型可在 128GB 内存本地流畅运行

Unsloth AI 正式上线 GLM-5.3-Flash(Ox Alpha)超轻量量化 GGUF。通过 3-bit 混合量化技术,这款 320B 总参、18B 激活且具备 MIT 协议的顶尖多模态 MoE 模型可在 128GB 内存设备(如 Mac Studio)上实现本地单机推理。

核心要点速览

  • 实现 320B 级顶尖开源多模态编程大模型发布首日即支持消费级工作站本地离线运行;
  • 在 DeepSWE 与多模态编程基准上对齐甚至逼近顶级闭源模型,3-bit 保持极高推理保真度;
  • 配套开源全套下载指南与 Hugging Face 权重仓库,开箱即用支持 llama.cpp 与 LM Studio。
阅读全文
关联模型 / 智能体 / 厂商:

通义千问发布 Qwen3.8-Flash-Next 开源权重:Unsloth 单卡 GGUF 本地推理支持

阿里通义千问团队宣布正式开源 Qwen3.8-Flash-Next 完整权重,总参数 125B 激活 6B MoE 架构。联合 Unsloth 推出量化版 GGUF,支持在单张 24GB 显存消费级显卡(如 RTX 4090/5090)上全速运行 262K 上下文代码补全,本地推理吞吐达 85 tokens/s。

核心要点速览

  • 阿里通义千问开源 Qwen3.8-Flash-Next 125B/6B MoE 权重;
  • Unsloth 提供官方 GGUF 量化支持,单张 24GB 消费卡全速运行 262K 上下文;
  • 本地代码补全吞吐达 85 tokens/s,企业内网离线隐私编程极佳选择。
阅读全文
关联模型 / 智能体 / 厂商:

Qwen3.8-Flash-Next 可在 75GB 内存本地运行:Unsloth GGUF 提供 Day-0 支持

通义千问官方确认,125B 多模态 MoE 模型 Qwen3.8-Flash-Next 已可通过 Unsloth GGUF 在约 75GB 内存上本地运行,并支持把 N-gram 嵌入放到 CPU/统一内存以接近显存速度。这是 Qwen4 架构预览权重的首日本地部署路径。

核心要点速览

  • 125B MoE(每 token 激活 6B,另有 51B N-gram 嵌入)可在约 75GB RAM 上本地推理,无需整模装进 GPU 显存
  • Unsloth 提供 Day-0 GGUF 与 Qwen3.8-Flash-Next 指南,CPU RAM / 统一内存路径可接近显存吞吐
  • 官方权重同步在 Hugging Face / ModelScope;vLLM 与 SGLang 已提供 NVIDIA 与 AMD Day-0 服务支持
阅读全文