LightOn 开源 ColGrep-Agent-2B：本地 2B 代码检索 Agent 接入 Claude Code，API token 降约 34%、成本约 40%

核心背景与行业痛点

前沿编程 Agent（Claude Code、Codex、OpenCode）修 bug 前往往要多轮 grep/读文件找定位：每多一轮就把累积上下文再送回 API，token 与延迟一起涨。LightOn 在 2026-10-12 博客 提出把「仓库探索」拆给本地小模型：ColGrep-Agent-2B 在机器本地用 ColGrep 语义检索与只读终端多轮搜索，只把 path:START-END 与代码片段交还给前沿模型。目标不是替代端到端写补丁，而是砍掉被重复计费的探索轮次——尤其对大陆开发者，本地检索还意味着源码不必为了「找文件」出境。

架构亮点与底层机制

1. 分工：前沿模型负责理解问题与改代码；2B Agent 负责定位。集成钩子（colgrep --install-claude-code 等）以建议方式暴露搜索工具，可用 hook-mode agent|hybrid|colgrep 调节。
2. 检索底座：ColGrep 基于 NextPlaid / LateOn-Code-edge（约 17M 多向量检索），按 token 级向量匹配，可用自然语言命中与字面不同的符号（如「custom attributes」→ fieldDefinition）。
3. Agent 工具面极简：仅 colgrep、只读 terminal、finish；训练与推理同 harness、同 10 轮预算。
4. 训练：基座 MiniCPM5-2B；SFT 冷启动用 Qwen3.5-27B 生成并过滤轨迹；再以 GRPO（含零优势过滤、无 KL 惩罚等）做代码定位 RL。奖励以文件/行 F1 为主，并惩罚多余轮次与 grep 滥用。

权威 Benchmark 与实测跑分对比

厂商 Claude Code 对照（非第三方独立评测）：13 个 2026 新建公开仓、52 题（含 39 道跨目录）、每题每设置 3 跑共 624 会话。相对内置 grep：ColGrep-Agent 平均 token 93k vs 142k（−34.3%），缓存感知成本约 4.4¢ vs 7.3¢，正确率 80.8% vs 83.3%（95% CI 覆盖零，作者诚实标注未达显著）；端到端耗时约 21.6s vs 13.0s（本地推理换 API 省钱）。Balanced 模式省约 21% token 且正确率与 grep 持平。
定位专项：同 ColGrep harness 下，2B 在 SWE-bench Lite 行 F1 19.92 高于 Gemma-4-31B-it（17.08）、Qwen3.5-27B（15.71）等更大模型；文件 F1 76.18 接近但未全面碾压大模型。Semble 上 Agent 返回约 1.7 文件、Precision@10 0.744，对比纯 ColGrep 返回更多文件但精度更低。读者应把 Claude Code 数字读成「LightOn 自测协议」，并注意评测是代码搜索题而非完整修仓。

开发者实战落地与开箱指南

• 安装：brew install lightonai/tap/colgrep && colgrep --install-agent（或官方 shell/PowerShell/cargo 安装器）；默认拉取约 2.5GB 的 colgrep-agent-2B-Q8_0.gguf，无需 Python/API Key。
• 索引：cd repo && colgrep init；之后增量更新。提问：colgrep --agent "…"，可用 --json / -c。
• 接到编程 Agent：colgrep --install-claude-code|codex|opencode；优先在大仓、跨模块问题上开 hook-mode agent，对延迟敏感用 hybrid。
• 资源：M3 Pro Metal 峰值约 3–4GB、单问约数十秒量级（博客口径）；论文 arXiv:2610.05099。先在内部小仓复现 token 曲线再全员推钩子。