流式视频交互大一统！南京大学与上海 AI Lab 开源 OneStreamer：4B 端到端模型横扫 8 大基准第一

核心背景与行业痛点

随着多模态大模型从静态视频分析走向具身第一视角、智能安防巡检与全天候会议助手，系统必须以“连续在线流式（Streaming Video）”的形态吞吐动态视觉流。这一场景对 AI 提出了前所未有的工程挑战：模型在任意时刻都无法预知用户未来会提出何种问题，必须在极低延迟下持续捕捉并留存关键视觉事实；更具挑战的是，智能体不能仅被动等待问答，还必须学会在特定异常事件发生时“主动发起告警与响应（Proactive Response）”。现存方案要么采用滑动窗口简单丢弃历史视频帧（导致严重事实失忆），要么尝试保留全量高维视觉特征缓存（导致显存与算力随时间呈超线性爆炸崩溃）。

架构亮点与底层机制

针对流式视频交互中感知、长程记忆与主动决策无法兼顾的死穴，南京大学与上海 AI Lab 团队提出了创新框架 OneStreamer：

1. 前瞻性层次化字幕记忆（PHCM）：跳出保存沉重视觉张量的传统陷阱，模型在流式处理前向过程中，自主将当前视觉窗口提炼为带精准时间戳的局部细节字幕（Local-Detail Captions）与宏观事件摘要。推理时，模型生成的轻量文本记录与最近时序的纯视觉窗口紧密咬合，以几乎为零的显存代价实现无限时长事实检索；
2. 主动状态转移学习机制（PSTL）：现实流式视频中绝大多数时间处于“无事发生、持续等待（Waiting State）”状态，海量无用帧严重稀释了关键状态转移的监督梯度。PSTL 精准锚定有效输出节点，筛选并加权状态跃迁与关键动作 Token，仅需监督 27.5% 的状态 Token 即可达到卓越的响应灵敏度；
3. 流式数据合成与 OneStreamer-1M 超大规模生态：设计了严格对齐时间戳证据的流式合成管线，构建并公开发布了包含超过 100 万条跨领域交互记录的高质量多模态数据集 OneStreamer-1M；
4. 端到端纯净架构部署：模型统一兼具实时感知输入、记忆沉淀与主动触发三大能力，无需挂载笨重外部向量数据库即可实现工业级实时流式吞吐。

权威 Benchmark 与实测跑分对比

在跨越 8 大权威流式视频理解与多模态交互评测基准（涵盖长时序问答、实时动作检测与主动状态预警）中，OneStreamer 展现了惊人的统治力：

1. 4B 紧凑模型横扫全部 8 大基准第一：仅凭 4B 轻量级参数规模，OneStreamer 在所有 8 个主流流式视频评测榜单上全部斩获 SOTA 第一，全面超越参数规模数倍于己的行业竞品；
2. 历史问答精度大幅提升且零牺牲实时感知：消融实验证实，PHCM 字幕记忆机制将历史跨小时回溯问答的准确率提升超过 34.2%，同时第一人称实时目标的瞬时跟踪延迟丝毫不受影响；
3. 训练能效比极大跃升：PSTL 仅需对 27.5% 的标注 Token 计算监督梯度，最终生成的主动决策召回率与 F1 均超越了 100% 全量密集监督基线。

开发者实战落地与开箱指南

OneStreamer 算法实现、预训练 4B 模型权重以及 OneStreamer-1M 全量数据集已在 GitHub 与 Hugging Face 全面开源。对于正在开发车载第一人称智能座舱助手、无人机实时巡检大脑、智能穿戴眼镜（AI Smart Glasses）多模态助手的工程师团队，OneStreamer 提供了一套免外部复杂记忆栈的极简流式工程解决方案。开发者可以直接拉取 4B 镜像接入本地 RTSP 摄像头视频流，在极低边缘计算算力消耗下，轻松赋予设备全天候连贯认知与主动多模态实时交互能力。