北大与 OpenDCAI 开源 RayOrch：谱系受控多粒度数据流引擎，MinerU 扩展提速 15.1 倍，较 Ray Data 耗时减少 16%

核心背景与行业痛点 高质量语料库与多模态数据准备是大语言模型（LLM）与代码模型训练的基础命脉。在利用 MinerU、Docling 等现代解析器处理海量 PDF、代码仓库与视频资产时，数据流水线呈现出强烈的“一对多发散”特征：每个原始输入（父项）会被切分为数量不定、长尾分布的片段或子任务（子项）。然而，现有的分布式数据计算系统（如 Ray Data、Apache Spark、Daft）要么通过粗粒度 Job 隐藏内部并行度，要么在展开后直接打平记录，迫使开发者手写繁琐的谱系（Lineage）重组逻辑，导致 GPU 批处理碎片化与内存吞吐瓶颈。 ### 架构亮点与底层机制 北京大学联合 OpenDCAI 团队正式开源了 RayOrch 编程模型与分布式执行引擎： 1. 声明式扩展与聚合对（Expansion & Gather）：程序显式声明有序的可变基数扩展与其匹配的汇聚算子，编译器静态校验配对关系，运行时自动追踪从属、不可变序号与终态； 2. 每调用 FIFO 就绪队列：打破传统批处理边界，动态聚合来自不同父项且已就绪的子项，直接在 GPU 上组装成满载 Batch，一旦某父项的所有子项到达终态立即解除阻塞； 3. 类型化父作用域故障抑制：当某个子任务发生异常时，系统精准阻断该父项下尚未派发的其余兄弟子任务，同时完全不影响其他健康父项的连续流转； 4. 内存零拷贝组装：汇聚算子依据初始声明的序号与拓扑直接就地重构最终结果，彻底告别基于批次边界排序的沉重内存洗牌开销。 ### 权威 Benchmark 与实测跑分对比 在 NVIDIA H20 GPU 集群上，团队针对业界主流的真实多模态处理流水线展开了严格实测： - 集群线性扩展比：在 MinerU 流水线上，计算节点从 4 卡扩展至 64 卡时，RayOrch 展现出 15.14 倍加速比；在视频数据处理流水线上，从 8 卡扩展至 64 卡实现 7.82 倍加速； - 端到端耗时大幅领先：在 MinerU 任务中，端到端处理耗时相比 Ray Data 缩短 13.1%，相比 Daft 降低 29.0%；在 Docling 结构化任务中，相比 Ray Data 耗时减少 16.0%； - 容错开销：在 5% 脏数据注入场景下，资源浪费率仅为传统流水线的 1/6。 ### 开发者实战落地与开箱指南 - 开源代码仓库：RayOrch 现已通过 GitHub 完全开源：https://github.com/OpenDCAI/RayOrch； - 环境部署：支持作为 Ray 的高阶运行时算子扩展加载，兼容主流 Slurm 与 Kubernetes 集群调度器； - 工程实践建议：构建 TB/PB 级代码与多模态语料清洗清洗时，将文档解析与特征提取步骤用 RayOrch 的 expand 和 gather 声明式封装，可大幅提升集群 GPU 利用率。