前 Anthropic 研究员创办的 Mirendil 发布首个模型 Fern:从零预训练,上下文最长 1000 万 token
Mirendil 10 月 26 日发布首个模型 Fern,基于自研 Mirendil-Base(0.1–0.5T 参数)从零预训练,上下文窗口最长约 1000 万 token,约等于 50 万行代码或数天的 Agent 轨迹。Fern 0.1 只做了一轮短后训练,主打审计训练数据、看日志排查训练故障、通读 Agent 轨迹等 AI 研发场景。官方口径:SWE-Bench Verified 73.4%、RULER 单针检索在 10M 长度仍为 100%,但多跳问答在 10M 降到 45%。目前仅开放早期申请,未公布价格和权重。

核心要点速览
- 规模与上下文(官方口径):Mirendil-Base 0.1–0.5T 参数,Fern 上下文最长约 10.2M token(约 23 MB 代码、约 50 万行,接近 Megatron-LM 体量),见 官方博客
- 编码跑分(Mirendil 自测,OpenCode 单次尝试):SWE-Bench Verified 73.4、SWE-Bench Pro v2-Hard 76.5、SWE Atlas QnA 53.2、DeepSWE v1.1 44.2、Terminal-Bench 4.0 仅 6.1;同表 Claude Opus 5.5 分别为 98.2/100.0/66.4/74.2/66.4
- RULER 长上下文(官方口径):单针检索 32K 到 10M 全为 100%;多跳问答 HotpotQA 从 32K 的 65% 降到 10M 的 45%,10M 档每格只有 20 个样本
- 研发成本(官方口径):Mirendil-Base 由 1 名研究员加 Agent 在 3.5 个月内完成,总算力不到 1000 万美元,Agent 写了 99% 以上的代码,见 预训练复盘
- 可用性:Fern 是三款模型中最小的一款,Base-Large(0.5–2T)与 Base-XL(2–10T)仍在预训练;目前只能 申请早期访问,价格和权重均未公布
