2026-10-23（UTC 15:41，SGT 23:41），NVIDIA AI 官方账号 @NVIDIAAI 宣布 Nemotron 3.5 Bolt E4B 4GB 上线，定位是能对话、能调用工具的本地小模型，用于本地助手、互动角色和机器人。Hugging Face 官方模型卡显示：它由 Gemma-4-E4B-it 后训练而来，总参数 8B（有效 4B），Q4_K_M 量化，输入输出各支持最多 64K token，可开关思考模式，并提供 DFlash 推测解码草稿模型和 BF16 版本；权重、数据和训练配方开放，许可证为 OpenMDW-1.1，可商用。模型卡跑分中，4GB 量化版 MultiChallenge 55.60（Gemma4 E4B-it 同量化 39.36、Qwen3.5 4B 52.23），但 Tau2-Bench 52.32、BFCL-v3 67.31 低于 Qwen3.5 4B。
核心要点速览
- ✓NVIDIA 官方发布 Nemotron 3.5 Bolt E4B 4GB，面向本地助手、互动角色和机器人
- ✓基于 Gemma-4-E4B-it 后训练，总参数 8B（有效 4B），Q4_K_M 量化，64K 上下文，可开关思考模式
- ✓权重、数据、训练配方开放，OpenMDW-1.1 许可可商用，附 DFlash 推测解码草稿模型
- ✓模型卡跑分：MultiChallenge 55.60 领先同级，但 Tau2-Bench 和 BFCL-v3 不及 Qwen3.5 4B
开发者 3 秒速决决策指标
把技术选型换算成你的开发预算
40 款主流编程套餐横向比价，支持输入/输出 Token 真实账单模拟
相关资源与官方项目出处
免代理直达深度技术解析与实战评估
核心背景与行业痛点
本地语音助手、游戏角色和机器人需要在显存很小的设备上快速响应，同时还要能多轮对话、调用工具。大模型放不进去，通用小模型在工具调用和指令遵循上又容易掉链子。10 月 23 日 SGT 23:41，NVIDIA AI 官方宣布 Nemotron 3.5 Bolt E4B 4GB 上线，补上 Nemotron 3.5 Bolt 家族的最小一档（此前 10 月中旬已开源 24GB 的 Bolt 74B-A9B）。
架构亮点与底层机制
据 Hugging Face 官方模型卡，Bolt E4B 由 Google 的 Gemma-4-E4B-it 后训练而来，总参数 8B、有效 4B，4GB 版为 Q4_K_M 量化，输入输出各支持最多 64K token。NVIDIA 重点加强了多轮工具调用、指令遵循和输入依据能力，并通过聊天模板开关思考模式和对话模式，支持运行时思考预算。官方同时提供 DFlash 推测解码草稿模型和 BF16 全精度版本。权重、训练数据和配方开放，许可证为 OpenMDW-1.1，可商用。
权威 Benchmark 与实测跑分对比
以下为模型卡中的 Q4_K_M 量化版成绩：MultiChallenge 55.60（Gemma4 E4B-it 39.36、Qwen3.5 4B 52.23）；RoleBench 71.21（60.51、52.35）；IHEval 82.40（66.61、62.87）。短板也写得很清楚：Tau2-Bench 52.32，低于 Qwen3.5 4B 的 61.74；BFCL-v3 67.31，低于 70.56；RULER 64K 85.76，低于 95.37。整体看，它强在对话、角色扮演和指令层级，复杂工具链和长上下文检索不如 Qwen3.5 4B。
开发者实战落地与开箱指南
模型卡给出了 llama.cpp 的 Docker 启动方式：从 Hugging Face 下载 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf，可选再下载 DFlash 草稿模型做推测解码，启动 OpenAI 兼容接口即可调用，可通过 enable_thinking 控制是否思考。适合做本地语音助手、NPC 和机器人对话前端；如果任务以复杂多步工具调用为主，建议先和 Qwen3.5 4B 在自己的场景里对比再选。
即刻查看该技术对应模型与主流工具的实测差异，或一键测算团队 API 调用与 $20/月套餐盈亏平衡点。
讨论与评论
0登录后即可参与深度讨论
与广大 AI 开发者、工程师交流评测心得与前沿洞察