Cartesia 新一代 H-Net：不用 tokenizer、直接从原始字节学习，3B 级模型约 1T token 追平 SmolLM3 的 11T 训练成绩

核心背景与行业痛点

今天的大模型几乎都依赖 BPE 这类手工设计的分词器：先把文本切成固定词表的片段再训练。分词器在代码、多语言、生僻格式上表现不稳定。Cartesia 首席科学家、Mamba 作者 Albert Gu 在 X 上发帖称，能否端到端地从字节学习语言，是检验通用学习方法的核心问题。

架构亮点与底层机制

H-Net（分层网络）于 2025 年提出（arXiv 2507.07955），本次是大幅改进的新版本。它由编码器、学习式动态分块、主网络、反分块和解码器五部分组成，在模型内部把字节动态压缩成块，并可递归嵌套。本次大模型为两阶段结构：外层用 Mamba-2 层，第二阶段加滑动窗口注意力，主网络是 40 层 Transformer，主网络约每 7.6 字节处理一个位置。

权威 Benchmark 与实测跑分对比

以下均为 Cartesia 官方口径，尚无第三方复现。对照 scaling ladder 中，H-Net 在验证损失上约 1.3 倍、代码约 2 倍计算效率，分布外代码最高 5.37 倍（Prolog）。对比 SmolLM3-3B（总训练 11.1T token），每字节算力对齐的 3.67B H-Net 约 1T token 即达到其最终六项任务平均分。

开发者实战落地与开箱指南

目前没有公开权重、代码或 API，开发者暂时只能阅读两篇博客和原论文；Cartesia 表示计划逐步开放部分架构，并会把它用于直接从原始音频学习的语音模型。关注点：代码与多语言场景的收益，以及第三方能否在更大规模复现。