无痛升级全能多模态！新加坡国大开源 Omni-IO Skills：声明式图编排七大模态，Claude 与 GPT 输入支持率跃至 100%

核心背景与行业痛点

在多媒体创意设计、数字孪生构建与企业级跨平台自动化中，智能体面临着多元数据格式大爆炸：除了传统的自然语言文本外，用户高频要求智能体同时审阅 PDF 契约、剪辑音视频、渲染 3D 网格模型并编写渲染着色器代码。然而，将基础大语言模型全面升级为支持所有模态的“原生全模态底座（Native Omni-Foundation Model）”面临极其残酷的现实壁垒：全模态预训练数据极其稀缺、联合训练成本数以千万美元计，且极易引发多模态灾难性能力稀释；而若退而求其次采用零散 API 工具调用，模型又深陷于中间媒介资产（如临时视频帧、3D 顶点缓存）无法统一索引、跨轮次修改相互覆盖且无法并发调度的工程泥潭中。

架构亮点与底层机制

针对通用智能体跨模态协同的工程断层，新加坡国立大学与 S-Lab 团队发布了即插即用的全模态外壳生态 Omni-IO Skills：

1. 声明式执行图编排引擎（Declare Execution Graphs, DEG）：将复杂的跨模态处理需求抽象为有向无环图，自动识别彼此独立的数据处理节点（如音频特征提取与图像主体抠图），实施高并发异步调度，大幅削减串行阻塞延迟；
2. 持久化资产注册表（Persistent Asset Registry）：建立统一的跨多模态媒介对象版本树，赋予智能体为每一次中间生成的音画、三维几何网格与代码产物打上确定性唯一句柄的能力，完美支持跨多轮交互的精细回溯与版本热修改；
3. 27 项层次化多模态技能库（27 Hierarchical Skills）：系统化封装了跨越理解（Understanding）、生成（Generation）、推演（Reasoning）与检索（Retrieval）四大能力维度的标准原子技能，完整覆盖 7 大媒介资产与 38 项代表性工业任务；
4. 零入侵外壳级赋能：无需修改任何底层大模型的主干权重与自回归机制，直接通过外壳层统一多模态输入输出管道，让现有纯文本或常规 VLM 智能体瞬间化身为全能 Omni 智能体。

权威 Benchmark 与实测跑分对比

在跨模态权威全场景评测基准 UniM-90 上，搭载 Omni-IO Skills 的各大前沿智能体展现出质的跃迁：

1. 全模态输入支持率由 40% 飙升至 100%：在面对涵盖 3D 渲染、视频切片与音频定位的极端复杂输入测试集时，GPT-5.6 Sol 的原始输入支持率仅为 40.00%，Claude Sonnet 5 仅为 38.89%，挂载 Omni-IO Skills 后两者均直接跃升至 100% 全覆盖；
2. 语义-质量耦合得分狂涨近 50 分：在端到端任务完成品质评估中，GPT-5.6 Sol 相对语义质量分从 26.99 暴涨至 74.94，Claude Sonnet 5 更是从 27.82 飞跃至 77.78；
3. 输出严格结构化达标率逼近极限：针对复杂跨模态元数据格式校验，智能体的 Strict Structure Score 达到 100.00%（GPT）与 99.78%（Claude），消除了调用外部多模态工具时频发的格式语法崩溃。

开发者实战落地与开箱指南

Omni-IO Skills 现已在 GitHub 全面开源。对于正在开发下一代多模态办公 Copilot、元宇宙/游戏资产自动化生成流水线以及跨媒体内容审核 Agent 的研发团队，Omni-IO Skills 提供了一条低成本、零重训风险的工业级升维捷径。开发者只需将手头的通用智能体接入该外壳，配置声明式执行图运行时，即可一键解锁对视频、音频、3D 与代码的工业级专业操控力，大幅缩短全模态自主智能产品的研发上市周期。