Ollama 原生支持 Recursive Flint 40B：首个 2.5B 激活参数轻量 MoE 编程智能体模型，MacBook Pro 跑出 125+ tok/s

核心背景与行业痛点

当前，自主编程智能体（Coding Agents）正从简单的代码补全向多轮跨模块仓库级重构演进。然而，将海量项目上下文输入给顶尖云端旗舰大模型（如 Claude Opus 或 GPT-4o）面临昂贵的 Token 计费开销、网络请求延迟以及敏感企业内部代码外泄的安全合规风险。过去在本地消费级硬件（如搭载统一内存的 Mac 或单张消费级 GPU）上部署的 7B/14B 密集模型，因推理容量受限，在面对复杂多轮工具调用、跨文件测试执行与长上下文仓库推理时频频发生逻辑幻觉。为了打破“本地小模型性能弱、云端大模型贵且慢”的工程两难，由著名 AI 学者 Richard Socher 创立的 Recursive 公司依托自动化研发系统“Eureka Machine”，耗时不到四个月研发并正式开源了专为本地编程智能体打造的 Mixture-of-Experts 架构模型 Recursive Flint（flint:40b）。

架构亮点与底层机制

1. 轻量化稀疏混合专家（Sparse MoE）设计：

• Flint 拥有 39.8B（约 400 亿）总参数量，但其主干网络由 2 个密集层（Dense Layers）与 47 个稀疏 MoE 层组合而成；
• 每个 MoE 层配置 256 个路由专家，每个 Token 仅动态激活 6 个路由专家加上 1 个常驻共享专家（Shared Expert），使单 Token 实际计算量被压低至仅约 2.5B 参数；

1. 262K 超长原生上下文支持：

• 模型原生训练并支持 262,144 tokens（256K） 上下文窗口，支持将中大型开源仓库的代码树、依赖定义与全部单元测试脚本一次性读入上下文；

1. 消费级硬件极致能效比：

• 极低的活跃参数量结合 Unsloth GGUF 量化与 Metal/ROCm 深度优化，使 Flint 在 M4 Pro 芯片的 MacBook Pro 笔记本上实现高达 125+ tokens/秒 的生成速度，在 64GB 统一内存工作站上短文本吞吐更突破 150 tokens/秒；
• 开发者仅需执行一条简单的命令 ollama run flint 即可在本地无缝启动，彻底摆脱云端 API 依赖。

权威 Benchmark 与实测跑分对比

Recursive 官方公布了与主流开源模型及商业闭源系统的严苛 Agentic 基准评测结果：

• SWE-bench 系列工业测试：
• 在最权威的真实 GitHub 软件工程修复基准 SWE-bench Verified 上，Flint 斩获 74.2% 的高通过率；
• 在升级版 SWE-bench Pro v2 上，成绩高达 89.7%，远超目前 70B 以下全部开源密集模型；
• 终端与长程任务评测：
• 在考察综合 Bash 命令行与系统级工具链操作的 Terminal-Bench 2.1 中取得 54.9%；
• 在 LiveCodeBench v6 达到 80.3%，在指令遵循基准 IFEval 取得 95.1%、IFBench 取得 89.2%；
• 综合性能排位：
• 在 50B 参数量以下的可本地离线部署开源模型中，Flint 的综合编程能力稳居全球同级别第一，首次在消费级笔记本上实现了媲美云端中高阶商用模型的软件工程实战修复能力。

开发者实战落地与开箱指南

• Ollama 一键运行：在安装最新版 Ollama 后直接执行：

  ollama run flint
  

• 主流本地与推理框架接入：
• 模型权重已完全开源在 Hugging Face（RecursiveSI/flint），采用宽松友好的 Apache 2.0 商业开源协议；
• 现已提供 llama.cpp、Unsloth（3-bit / 4-bit 动态量化）、LM Studio、vLLM 与 SGLang 的原生支持；
• 智能体工作流落地建议：建议企业研发团队在内部代码审计、离线单元测试修补与个人开发者终端助手（如结合 OpenHands、Cline 或 Aider）中，将 Flint 作为主力本地 Coding Agent 推理引擎，在保障 100% 数据离线私密性的同时，大幅压缩云端推理 API 成本。