Reka 发布 Rho-1 研究预览：19B 从零训练的「全能推理」模型，一个网络同时理解与生成文本/图像/视频并输出机器人动作

核心背景与行业痛点

今天主流的多模态系统本质是「Agent 流水线」：一个中心 LLM 负责规划，再把画图、做视频、控机械臂分别交给专用模型。每次交接都增加延迟，下游专家也只看到一句窄指令而非完整上下文。Reka Labs 在 Rho-1 官方博客 中提出把这条栈「压扁」：19B 参数、从零训练的单一网络，在同一上下文里统一理解与生成文本、图像、视频，并直接输出机器人动作。

架构亮点与底层机制

Rho-1 采用对称设计：离散 token 承载文本与指令，连续 token 承载图像/视频潜变量、动作与本体感知。每个 Transformer 块内拆成「理解流」与「生成流」两套专家权重，二者共享注意力并读写同一个 KV Cache；理解流发出切换 token 后，生成流用扩散头从完整状态直接渲染。训练同时优化 next-token 与 flow matching。机器人侧可配合 Reka 的逆动力学模型，从无标注网络视频反推动作标签做预训练。

权威 Benchmark 与实测跑分对比

官方未给出 MMLU、VBench 等标准榜单分数，仅公布内部速度数据：基础版视频生成中位 0.79× 实时、约 6 秒出可看流；蒸馏版把去噪从 99 步压到 8 步，5.3 秒视频约 1 秒返回。机器人部分只展示了 LIBERO 仿真演示，没有成功率表格。官方坦承原生分辨率仅 672×384，长程漂移与编辑稳定性仍弱。

开发者实战落地与开箱指南

Rho-1 目前只是研究预览，没有开源权重和公开 API，合作需邮件联系 [email protected]；Reka 现有产品可通过 Reka 文档 与 Reka Cloud 使用。它的意义在于方向：做机器人、仿真环境或交互式视频应用的团队，可以参考「单模型 + 共享 KV 状态」替代多模型编排，并关注其数据管线与实时视频生成系列文章。