告别图片文字乱码与画饼！开源基准 UltraText Bench 发布：全方位评测中英文密集视觉文本渲染

核心背景与行业痛点

在生成式人工智能（Gen-AI）从‘生成抽象艺术画’转向‘商业级设计与排版生产力工具’的过程中，画面中的文字渲染能力（Visual Text Rendering）成为决胜关键。品牌海报、产品宣传册、书籍封面等实际需求不仅要求图片背景逼真，更要求文字拼写 100% 准确、多处文字块井然有序。然而，业界面临着严重的评估盲区：

1. 现有基准过于简陋（Single-Word Trap）：如 MARIOEval、AnyText 等经典基准主要测试‘在一张图里写一个英文单词（如 Apple）’。在这一单点任务上，最新模型已接近饱和，掩盖了真实工业场景的巨大缺陷；
2. 中英文排版复杂度差异巨大：中文具有笔画繁多、表意方块字结构复杂等特点，现有以英文为核心的评测集无法客观反映中文视觉文本渲染的真实短板；
3. 缺乏空间位置与视觉属性的细粒度量化工具：生成的文字是否出现扭曲重叠、字体层级是否合理，此前缺乏统一标准的自动化多模态评估体系。

架构亮点与底层机制

针对密集视觉文本渲染的评测空白，研究团队打造了标准化双语基准 UltraText Bench（arXiv:2610.09823，开源代码 github.com/LINs-lab/UltraText_Bench）：

1. 三级难度阶梯与 24 大现实商业场景：基准包含 432 个精心构建且经过人工双盲校验的测试 Prompt，中英文严格各占 50%，覆盖街景招牌、电商海报、黑板板书、产品包装等 24 个常见场景。难度沿 L1（简单局部标注）、L2（中等图文混合）、L3（极高密度多文本块）三阶递进，单个 Prompt 包含 4 到 12 处严格指定内容的文本区域；
2. 多模态判题大模型 Q-Judger（Structured Grounding）：为了彻底克服传统 OCR 识别工具对艺术字体、非正交文字排版误报率高的问题，团队引入专门微调的多模态大模型 Q-Judger。Q-Judger 对照结构化参考标准，对生成图片展开四维独立评分：

• 文本忠实度（Text Fidelity）：字符级别的是否错漏、拼写幻觉；
• 文本清晰度（Text Clarity）：字迹边缘是否平滑锐利、有无粘连模糊；
• 空间布局质量（Spatial Quality）：各文字块相对位置与行间距是否符合排版美学；
• 整体场景质量（Scene Quality）：文字与背景图像风格的光影融合度；

1. 24 种前沿主流模型配置地毯式横评：涵盖 SD3.5、Flux、Midjourney、Ideogram、Kolors（可图）、Qwen-Image 等全行业头部选手。

权威 Benchmark 与实测跑分对比

在跨越 24 种模型配置的大规模评测中，UltraText Bench 揭示了诸多极具商业选型价值的实测真相：

1. Turbo 蒸馏加速版的‘清晰陷阱’：测试发现，针对快速采样的 Turbo 版本（如 Z-Image-Turbo）在文字清晰度（Clarity）上相比 Base 版本小幅提升了 3.81 分，但因采样步数压缩导致其字符忠实度（Fidelity）发生了 14.76 分的断崖式暴跌，产生大量‘字迹极清晰但拼写全是乱码’的现象；
2. 长难任务呈现断崖式衰退：在处理 L1 简单任务时，表现优异的开源代表模型 Qwen-Image 英文综合得分达 86.50；然而当负荷提升至 L3（包含 8~12 处文字块）时，得分直接腰斩至 42.86，证明当前扩散架构在维持全局跨区域多文本注意力时存在严重容量上限；
3. 中英文字符渲染鸿沟显著：绝大多数全球开源模型在英文渲染上的得分显著高于中文（中文字符漏笔画、形变率高出英文 2.3 倍），唯有少数专门强化过汉字字形先验的中文基座能在中文 L2/L3 保持及格线以上。

开发者实战落地与开箱指南

UltraText Bench 的自动化评测脚本、Prompt 语料库以及 Q-Judger 评测流水线已在 GitHub（github.com/LINs-lab/UltraText_Bench）全面开源。该基准为正在研发文生图大模型、商业广告设计 Agent 以及电商海报自动生成平台的团队提供了不可或缺的质量质检雷达：在模型选型与落地时，切勿轻信仅包含单张精修图的宣传 Demo。通过在 CI/CD 中接入 UltraText Bench 进行 L1~L3 全难度阶梯回归压测，才能真正甄别出具备稳定工业商业落地价值的高可靠性生成底座。