重塑音画同步生成！Kandinsky 6.0 Video 正式开源：双流 CrossDiT 赋能 1080P 超清音画一体视频大模型

核心背景与行业痛点

随着 Sora、Gen-3、CogVideoX 等视频生成模型的爆发，大模型在画面真实度与物理仿真上突飞猛进。然而，视频作为视听综合艺术，‘有画无声’严重限制了生成视频在影视制作、广告创意与短视频工业中的直接落地：

1. 音画割裂与时钟去同步化（Temporal Desynchronization）：现有主流工业界方案通常采用‘分步级联’架构，先生成无声视频，再将视频送入单独的 Foley 音效模型或 TTS 语音模型后处理贴音轨。这种做法无法实现微秒级的事件对齐，往往出现‘画面爆炸已结束，轰鸣声才姗姗来迟’的严重顿挫感；
2. 面部唇形同步（Lip-Sync）全面失真：人物说话时面部微表情、肌肉运动与发音音素之间的严密对应关系，无法靠后处理简单拼接解决；
3. 缺乏统一开源的高质量端到端基座：闭源巨头模型高筑城墙，开源社区长期缺乏兼具双流联合扩散、广播级采样率与商业友好许可的完整权重解决方案。

架构亮点与底层机制

为打破视听生成壁垒，Kandinsky 实验室打造了端到端视听一体扩散模型 Kandinsky 6.0 Video（arXiv:2610.05608，开源代码 github.com/kandinskylab/kandinsky-6）：

1. 双流 CrossDiT 扩散骨干（Dual-Stream CrossDiT Backbone）：架构由一条承袭自 Kandinsky 5.0 的成熟视频生成流与一条全新训练的高保真音频生成流平行构成。在 Transformer 每一层中，通过定制的双向交叉注意力机制（Bidirectional Cross-Attention）强制视听隐空间进行时空特征对齐，使声波振幅与画面动量在去噪全流程中同步演进；
2. 双模型梯队覆盖全场景（Lite 3B & Pro 29B）：

• Lite (3B)：极致轻量化设计，适合消费级显卡部署与边缘实时流媒体生成；
• Pro (29B)：旗舰超大规模参数，具备极其精细的微表情控制、复杂物理声学模拟与多声部配器能力；

1. 原生 44 kHz 立体声与 Full-HD 1080P 超分集成：原生直出 5 秒 44 kHz 广播级无损立体声音效与人声，内置原生适配的超分辨率扩散模型，能够无缝上采样至 1920×1080 电影级全高清分辨率；
2. 端到端训练与强化学习后对齐：采用大规模音频语料连续预训练、配对视听数据监督微调（SFT）、RL 视听同步后训练以及高压缩蒸馏的多阶段完整对齐流水线。

权威 Benchmark 与实测跑分对比

在跨越音频保真度（FAD）、视频质量（FVD）以及视听同步对齐度（AV-Align / Lip-Sync 误差）的全面学术基准评测中：

1. 视听同步误差大幅领先分离基线：在 AV-Align 与 SyncNet 唇形对齐测试中，Kandinsky 6.0 Pro 相比传统‘生成视频 + 外部音频补丁’级联方案，音画时序偏移降低 62.4%，唇音同步自然度接近真实拍摄水准；
2. 44 kHz 音质客观指标拔得头筹：在 Frechet Audio Distance (FAD) 评测中，Kandinsky 6.0 的环境声、音效与语音质感得分全面超越 AudioLDM2 等经典专有音频生成模型；
3. 高吞吐蒸馏加速体验：通过配套的逐步蒸馏检查点，视频生成采样步数大幅压缩，配合 3B Lite 模型在单卡 24GB 显存设备上即可流畅部署运行。

开发者实战落地与开箱指南

Kandinsky 6.0 Video 官方代码库、模型检查点及 Hugging Face Diffusers 官方管道已全面就绪，并且遵循极为宽松的 MIT 开源许可证。开发者可通过 pip install diffusers 直接加载 pipeline，传入一段 Prompt 即可一条指令同时输出高质量 MP4 视频与对应的 WAV 声轨封装文件。对于短视频创作平台、数字人合成系统、影视预演工具以及游戏动画管线的开发团队，Kandinsky 6.0 Video 彻底省去了繁琐的后处理配音打轴工作，开启了原生音画一体生成的崭新范式。