小模型词表表征暴瘦 62%：研究提出 16 MB 冻结二进制词表，Gemma 3 270M 仅保留 101M 参数且多任务零精度损失

核心背景与行业痛点

随着小语言模型（SLM，如 Gemma 3 270M、SmolLM 等）以及 1.58-bit 三值大模型（Ternary LLMs，如 BitNet b1.58）在端侧可穿戴设备与物联网芯片上的推进，模型文件大小与内存占用成为核心生命线。然而，研究人员发现了一个极其讽刺的结构性失衡：在小型模型中，词表嵌入层（Embedding Table）占据了模型总权重的绝大部分！ 以 Google Gemma 3 270M 为例，由于词表高达数十万 Token，其嵌入层参数量高达 1.678 亿（167.8M），占全模型总参数量（268.1M）的 62.6%！即使主干 Transformer 层被极限压缩至 1-bit 或 2-bit，嵌入层因量化敏感仍被迫保留 16-bit 浮点存储，直接摧毁了端侧轻量化的收益。研究者在 arXiv:2610.22428 中给出了颠覆性的架构重构方案。

架构亮点与底层机制

1. 16 MB 冻结 512 位二进制词表（Frozen 16 MB Binary Codebook）：

• 完全摒弃需要随模型反向传播微调的沉重浮点嵌入矩阵；
• 仅需基于成熟预训练模型的静态语义嵌入，执行一次离线主成分分析（PCA）降维，再通过符号函数（Sign Function）二值化为 512-bit 的紧凑二进制编码。整个词表文件体积仅为 16 MB，全生命周期零可训练参数（Zero Trainable Parameters）；

1. 轻量线性解压缩投影层（Linear Decompression Layer）：

• 模型在前向传播时，直接读取该 16 MB 静态二进制常数表，通过一个仅占数十万参数的轻量线性投影层映射至隐层维度，将整个嵌入层的显存开销与模型权重文件彻底解耦。

权威 Benchmark 与实测跑分对比

在严格的受控预训练与下游基准测试中（Table 1, 2）：

• 模型参数量暴减 62.3%（Table 1）：
• 原始标准浮点嵌入模型：总参数量 268.1M（其中嵌入层独占 167.8M / 62.6%，前馈层 70.8M，自注意力层 29.5M）；
• 引入冻结二进制词表后：可训练参数量直接骤降至 101.0M（参数量削减 62.3%）；
• 下游推理表现惊人持平甚至反超（Table 2）：
• HellaSwag 常识推理：冻结词表模型得分 30.4%，与原始浮点全量模型（30.4%）完全一致；
• LAMBADA 语言建模：从原版 21.6% 反超至 23.2%（+1.6 个百分点）；
• PIQA 物理常识：从原版 60.6% 提升至 61.5%（+0.9 个百分点）；
• ARC-Easy 推理：达到 42.5%（原版 45.9%）；
• 三值量化（Ternary Model）无缝验证：
• 在权重严格限制为 $\{-1, 0, +1\}$ 的三值模型中，配合冻结词表仅需 101.2M 参数，取得 22.5% LAMBADA、29.4% HellaSwag 与 59.5% PIQA，证明二进制词表天然契合极端低比特量化网络。

开发者实战落地与开箱指南

• 论文推导详见：arXiv:2610.22428（Sai Kiran Bathula）。
• 边缘计算落地启示：在智能手表、MCU 单片机或边缘传感器上部署数百兆级小型文本处理模型时，传统词表是吃掉 Flash 闪存的最大元凶。采用 16 MB 离线 PCA 符号二值化词表，能直接将整个模型权重文件缩减 60% 以上，同时释放超百兆运存，是极低算力边缘部署的必选杀手级架构技巧。