小米 AI 实验室发布细粒度多模态模型 Xiaomi-Lens-0：4B 参数刷新 RefCOCO 语义分割纪录，掩码自监督打通像素级空间定位

核心背景与行业痛点

当前主流多模态大语言模型（MLLM，如 Qwen-VL、LLaVA）在整图问答与宏观场景描述上表现优异，但在需要像素级定位的细粒度视觉任务（如端侧精准抠图、局部瑕疵检测、具身机器人操作锚定）中往往捉襟见肘。其核心瓶颈在于：绝大多数 MLLM 采用纯文本或简易边界框（Bounding Box）进行弱监督对齐，语言模型内部表征从未与底层像素掩码（Pixel Mask）建立直接反向传播梯度。既有像素级增强方案（如 LISA、PixelLM）大多参数冗重、推理缓慢且严重牺牲了模型的通用对话能力。小米 AI 实验室团队在 arXiv:2610.23279 中正式发布了全新轻量级旗舰 Xiaomi-Lens-0。

架构亮点与底层机制

1. 端到端原生掩码解码头（Native Pixel Mask Decoder）：

• 架构以 Qwen3.5 4B 为基座，设计了一个极低开销的跨模态掩码解码器。该解码器同时接入三路信息流：① 视觉编码器的原始 Patch 特征金字塔；② 视觉投影隐向量；③ 语言模型输出的专用 [MASK] Token 状态。三者在隐空间进行交叉注意力聚合，直接输出高分辨率像素级二值分割掩码；

1. 多阶段渐进式空间自监督对齐配方：

• 第一阶段冻结视觉与语言基座，仅预训练掩码投影头；第二阶段联合微调多模态主干与解码器，在常规图文对话损失之外叠加动态 Focal Loss 与 Dice Loss，在完全保留通用感知能力的同时赋予模型像素级物理世界锚定能力。

权威 Benchmark 与实测跑分对比

在细粒度目标表达理解（REC）、表达语义分割（RES）与通用多模态评测中（Table 1, 3, 6, 8）：

• 目标表达理解（REC, [email protected]）：
• 在 RefCOCO 验证集上斩获 94.6%（超越 Florence-2 的 93.4% 与 Grounding-DINO-L 的 90.6%）；
• 在干扰项极多的 RefCOCO+ 上达到 92.1%（大幅超越 Florence-2 的 88.3% 与 Grounding-DINO 的 82.8%）；
• 在复杂长句 RefCOCOg 上达到 92.5%（超越 Florence-2 的 91.2%）；
• 表达语义分割（RES, cIoU 像素交并比）：
• RefCOCO、RefCOCO+ 与 RefCOCOg 分别斩获 83.4%、79.9% 与 81.1%，相较 7B 级基线 LISA LLaVA-7B（74.9% / 65.1% / 67.9%）与 GSVA Vicuna-7B（77.2% / 65.9% / 72.7%）实现跨代际碾压；
• 通用多模态感知无损（General Perception）：
• 在 MME-RW-en 真实世界基准中取得 69.7%，MME-RW-cn 达到 67.5%，CV-B 达到 88.1%，超越 7B 参数规模的开源模型 Qwen2.5-VL 7B（60.8% / 58.3%）。

开发者实战落地与开箱指南

• 论文与技术细节：完整架构与消融数据详见 arXiv:2610.23279。
• 端侧智能体选型建议：Xiaomi-Lens-0 证明了 4B 级端侧模型结合专用掩码解码头即可在定位与分割上超越通用 7B~13B 模型。面向手机端相册智能编辑、具身机械臂视觉抓取或桌面 GUI 元素像素级识别的开发者，可直接借鉴其 Patch Features + Mask Token 融合解码范式，在毫秒级延迟下实现像素级视觉交互。