流式视频交互质的飞跃！南大开源 OneStreamer：主动分层描述记忆打通感知与响应，4B 模型斩获全域 SOTA

核心背景与行业痛点

随着智能眼镜、无人机巡检与第一视角车载智能体的普及，视频大模型正从传统的“离线整段处理”全面转向“7x24 小时流式实时感知”。在真实的在线流式交互中，智能体面临两大严峻的结构性挑战：其一，用户提问往往发生在上百秒之后，系统在接收视频流的当前时刻，根本无法预判哪些帧包含未来关键证据；其二，由于高分辨率视频 Token 消耗极大，如果持续维护数百秒的历史视觉 KV Cache，显存带宽与计算延迟将在短时间内彻底爆裂，导致实时感知帧率断崖式下跌。过往方案要么暴力抽帧压缩造成细粒度事实彻底遗失，要么割裂地外挂外部数据库，导致感应、记忆与回复之间脱节卡顿。

架构亮点与底层机制

针对上述系统性瓶颈，南京大学研究团队设计并全量开源了 OneStreamer 流式视频大模型体系：

1. 主动分层描述记忆（PHCM）：智能体在处理实时视频流的前缀时，并不盲目缓存原始视觉特征，而是以极轻量开销自发生成两层时间对齐的文本记忆——细粒度瞬态动作 Caption 与宏观事件级总结 Summary，将连续像素流无损压实为结构化事实表征；
2. 滑动视觉窗口与文本记忆互补：在实际推理阶段，系统仅保留最近几秒的高帧率实时视觉窗口以保障即刻感知，更早期的历史事实则完全由模型自生成的 PHCM 记忆补全，彻底免去了回溯重算历史庞大视觉特征的计算黑洞；
3. 主动状态转移学习（PSTL）：解决视频交互中大量冗余等待状态（Waiting State）对训练梯度的稀释问题，仅对 27.5% 的代表性状态转移 Token 进行精准监督，学习效率与收敛速度提升数倍；
4. 开源 OneStreamer-1M 百万级数据集：构建了涵盖细粒度时序标注、流式 QA 与主动提醒的多任务数据集，包含超过 100 万条高质量流式交互记录。

权威 Benchmark 与实测跑分对比

在业界涵盖长程监控检索、实时问答与多轮交互的 8 大主流流式视频理解权威评测基准中：

1. 横扫 8 大基准斩获全域 SOTA：仅拥有 4B 参数规模的 OneStreamer-4B 基础模型，在全部 8 个流式基准评测上均取得了优于此前所有同类甚至更大规模竞品方案的顶级成绩；
2. 历史问答提升不伤实时感知：消融评测实证，保留 PHCM 文本记忆使得长历史回溯问答的准确率显著跃升，同时近期滑动窗口的实时物体追踪与动作识别 FPS 毫秒级延迟未受任何影响；
3. 以 27.5% 稀疏监督胜过全密监督：PSTL 机制仅利用 27.5% 的状态 Token 监督，便在状态流转准确率上全面击败传统的全量密集标注基线，展现出惊人的训练能效。

开发者实战落地与开箱指南

OneStreamer 的全部模型权重、OneStreamer-1M 数据集以及端到端流式部署推理引擎已在 GitHub（MCG-NJU/OneStreamer）全量开源。对于从事 AI 硬件端侧开发（如智能眼镜、执法记录仪、安防巡检机器人及桌面直播伴侣）的团队，OneStreamer 提供了开箱即用的 RTSP/Webcam 流输入处理接口。开发者无需搭建复杂的双流双系统架构，单卡 4B 模型即可完成“边看、边记、随时被唤醒秒级答复”的高效流式交互体验。