AI 编程实时动态与要闻

CapCut 官宣 ChatGPT 插件「即将上线」:在 ChatGPT 里用剪映的视频生成与剪辑工具,草稿可转到 CapCut 网页版精修

字节跳动旗下 CapCut(剪映国际版)官方账号 @capcutapp 在 UTC 2026-10-24 18:34 于洛杉矶 CapCut World 活动期间宣布,新的 CapCut 插件「即将上线」ChatGPT(原帖)。按官方说法,插件把 CapCut 的视频剪辑和生成工具带进 ChatGPT:用户可以先在 ChatGPT 里构思,再直接用插件生成内容,之后把草稿转到 CapCut 网页版继续精修和发布。抓取时原帖约 3,646 赞、319 转发、504 回复、45 万浏览。活动官网列出 OpenAI 合作伙伴负责人 Mahak Sharma 和创作者产品负责人 Sam Yam 作为嘉宾。X 上不少创作者帖称插件已在 ChatGPT 桌面版开放抢先体验、移动端和网页端约 11 月中旬跟进,但 CapCut 官方帖仍写「coming soon」,具体上线时间和价格以官方后续公告为准。

核心要点速览

  • 官方来源:CapCut 官方 X 原帖,UTC 10-24 18:34 发布,抓取时约 3,646 赞、319 转发、216 引用、504 回复、45 万浏览
  • 功能:CapCut 视频剪辑与生成工具接入 ChatGPT,可在对话中从想法直接生成视频草稿
  • 工作流:插件生成的草稿可转到 CapCut 网页版继续剪辑、分享和发布
  • OpenAI 参与:CapCut World 洛杉矶活动官网列出 OpenAI 的 Mahak Sharma(合作伙伴负责人)和 Sam Yam(创作者产品负责人)为嘉宾
  • 状态:官方写「即将上线」;创作者帖所称「桌面版已抢先体验、11 月中旬上移动端和网页端」未见官方确认,价格未公布
阅读全文
关联模型 / 智能体 / 厂商:

字节跳动 BytePlus 发布 Seedance 2.5 4K:原生 4K、10-bit 色深的视频生成模型,新增 480p 低成本 Draft 预览模式

2026-10-23(UTC 15:31,SGT 23:31),字节跳动旗下企业云 BytePlus 官方账号 @BytePlusGlobal 发布 Seedance 2.5 4K,称其为 Seedance 2.5 这一代中能力最强的模型:面部表情和动作更细腻,纹理、轮廓和细节更完整,并支持 10-bit 色深,色彩过渡更平滑,更适合大银幕。新增 Draft 模式:先用成本更低的 480p 预览测试分镜、打磨镜头,满意后再生成 4K 成片。目前只向部分企业客户开放,API 开放时间官方称「敬请关注」;官方同时放出用它制作的短片《Otter is Nobody 2》。

字节跳动 BytePlus 发布 Seedance 2.5 4K:原生 4K、10-bit 色深的视频生成模型,新增 480p 低成本 Draft 预览模式

核心要点速览

  • Seedance 2.5 这一代能力最强的版本,原生 4K 输出(官方发布)
  • 面部表情与动作更细腻,纹理、轮廓和细节更完整
  • 支持 10-bit 色深,色彩层次更丰富、过渡更平滑
  • Draft 模式:先用低成本 480p 预览打磨分镜,满意后再出 4K 成片
  • 目前仅向部分企业客户开放,暂无公开 API、定价或跑分
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Seedance 2.5 4K🌐 ByteDance🌐 BytePlus

可玩游戏世界模型新架构:Matrix-Game 4.0 解耦可执行游戏状态与视觉生成,破解长程一致性与规则执行

研究团队在 arXiv:2610.27999 中正式发布第四代交互式游戏世界模型系统 Matrix-Game 4.0。针对当前基于视频扩散模型的生成式世界普遍停留在“仅视觉受控”、缺乏持久游戏状态(World State)、无法严密执行游戏规则(如碰撞检测、计分、死亡判定)以及超高交互延迟的根本缺陷,Matrix-Game 4.0 提出了“游戏执行与视觉生成彻底解耦”的创新架构。通过轻量级可执行游戏脚手架维护物理与规则,驱动高帧率自回归视频生成骨干网络,在 100% 保障游戏可玩性与状态持久一致的同时,实现了真正实时的沉浸式游戏世界交互体验。

可玩游戏世界模型新架构:Matrix-Game 4.0 解耦可执行游戏状态与视觉生成,破解长程一致性与规则执行

核心要点速览

  • Matrix-Game 4.0 正式发布(arXiv:2610.27999),提出将游戏可执行逻辑与视觉生成解耦的世界模型全新技术路线图
  • 构建轻量可执行游戏脚手架(Game Harness),由确定性引擎负责持久状态与规则演算,彻底终结视频世界模型物理幻觉
  • 实现了从单纯“受控视频播放”到“真正具备可玩性与规则约束的交互世界”的质的飞跃,长程场景与状态一致性达成 100%
  • 在动作到画面的超低延迟交互渲染下稳定维持高帧率,为次世代 AI 驱动的无代码游戏创作与数字孪生提供核心基础设施
阅读全文
关联模型 / 智能体 / 厂商:

重塑音画同步生成!Kandinsky 6.0 Video 正式开源:双流 CrossDiT 赋能 1080P 超清音画一体视频大模型

生成兼具电影级画面质感与高保真音效的音画同步视频,是多模态生成式 AI 的终极前沿之一。以往行业方案往往采用分离流水线——先由视频模型生成无声画面,再由外部音频模型进行后处理打轴配音,导致动作节奏脱节、环境音失真以及嘴型对齐(Lip-Sync)完全失效。Kandinsky 团队在最新成果(arXiv:2610.05608)中正式发布并开源了重磅视频基座大模型 Kandinsky 6.0 Video(开源仓库:github.com/kandinskylab/kandinsky-6,Diffusers 集合已上线)。Kandinsky 6.0 Video 采用全新的双流 CrossDiT(Dual-Stream CrossDiT)扩散变换器架构,将预训练视频流与高保真音频流通过双向交叉注意力层紧密耦合,原生支持文本生音视频(T2AV)与图片生音视频(I2AV)。模型包含 3B 参数的轻量版 Lite 与 29B 参数的旗舰版 Pro,原生输出 5 秒长的高清动态画面与 44 kHz 广播级立体声音频,完美支持面部嘴型同步,并内置专属超分辨率模型直升 Full-HD(1920×1080)全高清画质。全套代码、检查点权重与 Diffusers 生态均已在 MIT 协议下完全开源。

重塑音画同步生成!Kandinsky 6.0 Video 正式开源:双流 CrossDiT 赋能 1080P 超清音画一体视频大模型

核心要点速览

  • Kandinsky 6.0 Video 正式发布并在 MIT 协议下完全开源,支持文本与图片生成原生音画同步视频
  • 双流 CrossDiT 架构结合双向交叉注意力,直出 5 秒 44 kHz 广播级音频与 1080P 全高清画质
  • 推出 3B Lite 与 29B Pro 双版本,视听同步误差较级联基线骤降 62.4%,原生支持面部嘴型对齐
阅读全文
关联模型 / 智能体 / 厂商:
AD赞助内容

告别开环盲目演化!MBZUAI 等发布 WorldGuide:目标导向闭环视频世界模型,长程程序化任务跑分大涨

以 Sora、Gen-3 与 MiniMax 为代表的视频生成大模型虽然能够渲染出逼真流畅的视觉运动,但在面对包含明确目标与先后次序的‘长程程序化任务(Procedural Tasks)’时(如复杂的烹饪烘焙、机械拆装维修、精细外科手术),现有模型普遍采用‘开环单向生成(Open-Loop Generation)’,导致致命缺陷:模型根本无法感知当前生成的画面到底执行到了哪一步,频繁出现步骤颠倒、无中生有、提前终止或无限死循环。阿联酋起源人工智能研究院(MBZUAI)与澳大利亚国立大学(ANU)研究团队在最新研究(arXiv:2610.12459)中推出了 WorldGuide 框架(项目主页:mbzuai-oryx.github.io/WorldGuide/,开源仓库:github.com/mbzuai-oryx/WorldGuide)。WorldGuide 首次将程序化视频生成形式化为‘视觉世界空间中的闭环任务执行(Closed-Loop Task Execution in Visual World Space)’。系统仅需一张初始静态图与一个高层目标指令,其内部耦合的规划器(Planner)与视频执行器(Executor)便能协同运转:规划器预测下一步原子动作,执行器生成对应动作的连续视频片段,随后规划器基于实际生成的视觉进展动态决策下一步骤或判定任务完成。针对缺乏单步对齐数据的痛点,团队构建了包含 5.9 万个分步标注视频的全新评测套件 WorldGuide-Bench。在任务完成率上,WorldGuide 达到了 33.33%,在无需参考计划的前提下显著击败了强基线 MiniMax-H3(29.90%),在 VideoCraft-Bench 上更是以 47.69% 遥遥领先于 MiniMax-H3(32.73%),官方代码已开源。

核心要点速览

  • MBZUAI 等发布 WorldGuide,首创规划器与执行器紧密耦合的目标导向闭环视频世界模型
  • 在无参考计划盲测下,WorldGuide-Bench 任务成功率达 33.33% 击败 MiniMax-H3,VideoCraft-Bench 暴涨至 47.69%
  • 开源包含 5.9 万个分步标注视频的基准套件与代码,将长程程序化任务逻辑倒错率从 62% 压缩至 4% 以下
阅读全文
关联模型 / 智能体 / 厂商:

破解 DiT 稀疏化画质崩塌!港中文与字节提出 MC-Sparse:元缓存机制加速 2.32 倍零损耗生成

随着 Diffusion Transformer(DiT)成为视频生成(如 Sora、Minimax、Kling)以及超高清 3D 资产生成的主流骨干架构,超长 Token 序列带来的自注意力计算开销正急剧推高推理延迟与 GPU 显存占用。虽然稀疏注意力(Sparse Attention)是理论上加速长序列最直接的手段,但现有稀疏化方案在面临高稀疏率时往往导致灾难性的画质劣化、画面闪烁与纹理模糊。香港中文大学(CUHK)与字节跳动联合研究团队在最新研究(arXiv:2610.06801)中深入剖析了稀疏注意力的误差机理,首次精确定位了三大衰退根源:粗暴 Token 分组约束、交互选择偏差以及被丢弃 Token 累积的注意力贡献缺失。为此,团队推出了免训练的元缓存稀疏注意力框架 MC-Sparse(项目主页:dodododddo.github.io/mcsparse-project-page/)。MC-Sparse 创新性地在保持细粒度单个 KV Token 精准选择的同时,将相似 Query 聚类为瓦片对齐(Tile-Aligned)的分组以适配现代 GPU 硬件并行。更关键的是,系统缓存了由精确注意力概率计算出的 Query 分组、KV 索引以及稠密-稀疏残差元数据,并在后续去噪步中高效跨步复用。实测表明,MC-Sparse 在 Minimax-H3-Base 视频模型上实现了 1.80 倍的端到端去噪加速,在 3D 资产生成模型上加速比高达 2.32 倍,且人眼完全无法察觉画质损失。

核心要点速览

  • 港中文与字节提出 MC-Sparse,首创元缓存稀疏注意力(Meta-Caching),攻克长序列 DiT 稀疏化画质崩塌
  • 在 Minimax-H3-Base 视频模型上实现 1.80 倍加速,3D 资产生成加速达 2.32 倍,峰值显存降低 45%
  • 无需重新微调模型参数,残差补偿机制实现零肉眼可见损耗,为视频生成推理集群降本增效提供开箱即用方案
阅读全文
关联模型 / 智能体 / 厂商:
⚡ MC-Sparse⚡ DiT⚡ Minimax-H3-Base⚡ Triton-Sparse🤖 Inference-Optimizer🤖 DiT-Accelerator🌐 CUHK🌐 ByteDance🌐 Hugging Face

Reka 发布 Rho-1 研究预览:19B 从零训练的「全能推理」模型,一个网络同时理解与生成文本/图像/视频并输出机器人动作

Reka Labs 于 10 月 5 日发布 Rho-1 研究预览:19B 参数、从零训练,在单一网络、单一 KV Cache 里统一文本、图像、视频与机器人动作 token,不依赖工具调用或第二个模型。每个 Transformer 块拆成「理解流」与「生成流」两路专家权重并共享注意力,联合优化 next-token 与 flow matching。官方称基础版视频生成约 0.79× 实时(中位),蒸馏版把去噪从 99 步压到 8 步,5.3 秒视频约 1 秒返回;全部结果来自 320 张 H100 训练三个月的检查点。目前仅为研究预览,无公开权重,需邮件合作。

Reka 发布 Rho-1 研究预览:19B 从零训练的「全能推理」模型,一个网络同时理解与生成文本/图像/视频并输出机器人动作

核心要点速览

  • 规模:19B 参数,从零训练;算力仅 320 张 H100 × 3 个月(官方博客)
  • 速度:基础版视频生成中位 0.79× 实时,约 6 秒出可看流;蒸馏版去噪 99 步 → 8 步,5.3 秒片段约 1 秒返回,改提示词重渲约 1.1 秒
  • 架构:每块双专家流(理解 / 生成)+ 共享注意力与同一 KV Cache;目标函数 = next-token + flow matching
  • 局限:原生视频分辨率上限 672×384;长程漂移、跨视频时序定位、编辑稳定性官方自认未成熟
  • 可用性:仅研究预览,无开源权重/公开 API,合作需邮件 [email protected]
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Rho 1🌐 reka

摆脱教师与判别器沉重枷锁:开源 ViRDM 仅需 16 卡时完成少步因果视频生成后训练

视频生成扩散后训练前沿研究团队(东北大学与联合实验室)在 Hugging Face 与 GitHub 正式开源了《ViRDM: Taming Representation Distribution Matching for Few-Step Causal Video Generation》(arXiv: 2609.28923,项目主页: neu-vi.github.io/ViRDM/)。针对传统少步自回归因果视频扩散蒸馏(如 DMD)必须同时常驻庞大的预训练教师模型与在线判别器(Critic)导致三网联合训练显存爆炸、训练极其昂贵缓慢的痛点,ViRDM 首次将单步图像的表征分布匹配(RDM)成功推广至因果视频领域,实现了彻底摆脱教师网络与判别器的“纯生成器后训练(Generator-Only Post-Training)”。仅需 20 次生成器参数迭代(16 个 A100 卡时),即可在权威 VBench 评测中达到 84.87 分,超越此前最佳基线。

摆脱教师与判别器沉重枷锁:开源 ViRDM 仅需 16 卡时完成少步因果视频生成后训练

核心要点速览

  • 彻底告别传统“生成器 + 教师模型 + 在线判别器”三网联合蒸馏的显存地狱,首创纯生成器独立后训练范式。
  • 突破视频 RDM 内存不可行的梯度反传瓶颈,提出随机截断平滑退出监督与分阶段向量-雅可比乘积算子。
  • 引入轻量级动力学正则化(Dynamics Regularization),精准约束时序动态一致性,杜绝动作跳帧与模糊闪烁。
  • 极速收敛:仅需 20 次生成器权重更新(16 个 A100 GPU 卡时),在 VBench 权威基准上取得 84.87 业界最高分。
  • 项目主页、多步自回归采样脚本与 PyTorch 训练代码已在 GitHub 遵照 MIT 协议全量开源。
阅读全文
关联模型 / 智能体 / 厂商:

阿里开源 WanPE-397B 导演级提示词大模型:首创语义一致性 GRPO,全面赋能 Wan3.0 长视频生成

阿里巴巴 Wan 视频大模型团队(@Alibaba_Qwen)正式公布了新一代长视频提示词工程与生成基座 WanPE(arXiv: 2609.30221,项目主页: wan-pe.github.io),并预告了下一代视频生成大模型 Wan3.0。针对当前扩散视频生成扩展至 30 秒长序列时用户输入过于简略、多镜头叙事分镜混乱以及传统提示词重写极易篡改原始意图的致命痛点,阿里团队训练了 3970 亿参数的超大规模导演级规划模型 WanPE-397B。模型首次提出“基于视频接地的逆向分镜重构”与“语义一致性 GRPO 强化学习(SC-GRPO)”,在 30 秒长视频盲测中人类偏好得分暴涨 50.86 分。

阿里开源 WanPE-397B 导演级提示词大模型:首创语义一致性 GRPO,全面赋能 Wan3.0 长视频生成

核心要点速览

  • 开源业界最大规模 397B 参数级视频提示词与分镜规划大模型,基于 105 万条真实影视级视频训练。
  • 首创 SC-GRPO(语义一致性群组相对策略优化),彻底根治强化学习后训练中模型“脑补加戏导致原意偏离”的难题。
  • 引入逆向分镜重构机制,精准规划 5 至 30 秒跨镜头的镜头运动轨迹、布光环境、角色位姿与多镜头过渡。
  • 在配套 Wan3.0 视频底座时,30 秒竞技场的人类综合偏好度较原始 Prompt 狂升 50.86 分,全面领跑主流商业视频模型。
  • 项目主页、评测基准 WanPEval(包含 1.1 万组双盲对比)与技术论文已在全网公开。
阅读全文
关联模型 / 智能体 / 厂商:

上海 AI Lab 开源 AV-GRPO:首创模态锚定解耦扩散强化学习,攻克音视频联合生成对齐与同步难题

上海人工智能实验室(Shanghai AI Laboratory,@huggingface)联合高校正式开源了面向音视频联合生成的多模态强化学习框架 AV-GRPO(arXiv: 2609.29816,GitHub: zhiyuxu03/AV-GRPO)。针对当前主流多模态生成模型在声画同步、跨模态因果对齐上的严重脱节,以及音视频双塔模型直接联合训练时算力开销激增、奖励信用分配模糊等瓶颈,AV-GRPO 首创了“模态锚定采样(Modality-Anchored Rollouts)”与“轨迹锁定冻结塔优化机制”,将复杂的跨模态偏好对齐转化为单模态解耦子问题,并在多项权威音视频生成基准上全面击败 LTX-2.3 达到业界 SOTA。

上海 AI Lab 开源 AV-GRPO:首创模态锚定解耦扩散强化学习,攻克音视频联合生成对齐与同步难题

核心要点速览

  • 首次将 DeepSeek GRPO 强化学习框架成功拓展至声画联合生成的连续扩散模型(Diffusion RL)领域。
  • 提出模态锚定解耦机制,交替冻结单模态塔进行轨迹锁定,彻底理清异构奖励信号的精准信用分配。
  • 开源业界首个五维解耦、难度可控的音视频强化学习训练数据集 5DAV。
  • 在 JavisBench 与 VABench 权威评测中,声画同步率与文本语义对齐度较 LTX-2.3 基线分别提升 28.4% 与 19.6%。
  • 全量推理与训练代码、LoRA 权重与 5DAV 数据集已在 GitHub 和 Hugging Face 全面开源。
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Av Grpo⚡ Ltx Video⚡ Hunyuan Video🤖 multimodal-agent🌐 shanghai-ai-lab🌐 huggingface
AD赞助内容

字节跳动自研实时空间视频生成模型,获 296 亿美元信贷加速具身智能布局

据行业权威报道,字节跳动正在加紧研发面向 3D 物理交互与机器人具身感知的「实时空间视频生成大模型」,力图在空间计算与物理世界模拟上对齐全球前沿。同时字节跳动已与全球银团签署总额 296 亿美元的专项 AI 算力与基础设施授信,全面提速具身智能、Pico 空间设备与大模型矩阵布局。

核心要点速览

  • 研发专为 3D 空间交互与机器人物理模拟设计的下一代实时空间视频基座大模型
  • 获得 296 亿美元全球银团专项 AI 信贷,创下中国科技企业大模型算力融资纪录
  • 深度赋能旗下 Pico 空间计算头显、自动驾驶与具身机器人视觉感知管线
阅读全文
关联模型 / 智能体 / 厂商:
⚡ Doubao Video⚡ Spatial World Model🌐 ByteDance

ElevenLabs MCP 上线语音/音乐/图像/视频生成:可在 ChatGPT、Claude、Cursor、Grok Bot 等一键调用

ElevenLabs 官方发布多模态 MCP:可在已有助手内生成语音、转写、配音、音乐、音效、图像与视频。声明已接入 ChatGPT、Claude、Cursor、Grok Bot、Hermes,一次安装即可在多端使用。

核心要点速览

  • ElevenLabs MCP 新增多模态生成:语音、音乐、图像、视频等。
  • 可在 ChatGPT、Claude、Cursor、Grok Bot、Hermes 等助手内直接调用。
  • 一次安装即可跨端生成 speech/transcripts/dubs/SFX/media。
阅读全文