Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing恰到好处才上色：灰度引导的在线触发机制，实现低功耗常开流式视频理解

智能眼镜等可穿戴设备想做“常开”视频理解，却受限于RGB采集的功耗与带宽——典型设备连续录制仅能维持30-60分钟。预实验发现：只要连续灰度流保住时序结构，插入少量RGB帧就能逼近全彩性能，说明色彩信息存在大量冗余。作者据此提出“灰度常开、彩色按需”范式与ColorTrigger机制：灰度相机持续监控，用滑窗特征构造亲和矩阵，以轻量二次规划因果判断是否触发RGB采集，再由信用预算控制器限制长期彩色开销，最后用动态令牌路由为灰度帧与RGB帧分配不同解码器容量。全流程训练无关、严格因果，可直接接入现成视频MLLM。

此前的常开视频感知依赖持续高保真RGB采集，但可穿戴设备受限于传感器、编码与传输的功耗瓶颈，通常只能连续录制30-60分钟，不足以支撑全天候待命助手。已有的EgoTrigger等方案改用音频线索触发RGB相机省电，但触发失败会造成长时间没有视觉信息、且无回退机制；事件相机式按需感知虽有效，却需要额外专用硬件。作者预实验发现，只要连续灰度流保住时序结构，插入少量RGB帧就足以逼近全彩性能，为仅依赖灰度证据的因果触发机制提供了契机。

关键贡献

• 首次系统性刻画视频理解中的“色彩冗余”现象，证明稀疏RGB帧配合连续灰度流即可逼近全彩性能。
• 提出“灰度常开、彩色按需”的流式视频感知新范式，用低功耗灰度监控替代持续高保真RGB采集。
• 设计训练无关、严格因果的ColorTrigger机制，用滑窗亲和矩阵与轻量二次规划实时判断是否触发彩色采集。
• 引入信用预算在线控制器，在允许局部突发触发的同时从理论上保证长期彩色开销有界。
• 提出动态令牌路由，为灰度帧与触发的RGB帧分配非对称解码器token容量，在采集和推理两端同时降本。
• 在StreamingBench、OVO-Bench与Video-MME上验证：仅用8.1%的RGB帧即可恢复全彩基线91.6%的性能。

总体思路

ColorTrigger把“要不要拍彩色”变成一个在线决策问题：一路低功耗灰度摄像头始终开着，持续提供时序结构与运动线索；系统在每个时间步只用过去的灰度证据，通过“特征提取 → 窗口亲和矩阵 → 二次规划打分 → 信用预算门控”这一串因果流程，判断当前帧是否值得触发高成本的RGB采集。一旦触发，灰度帧与RGB帧会被动态令牌路由分别编码成少量/大量视觉token，再按原始时间顺序拼接送入冻结的视频多模态大模型解码。整个链路不需要训练、不改架构，相当于在传感端和token端各做了一次“好钢用在刀刃上”的资源分配。

问题建模：灰度常开、彩色按需

系统持续观测低成本灰度帧 $g_t$，并可选地按需请求对应的高成本RGB帧 $c_t$。二值触发变量 $u_t\in\{0,1\}$ 决定是否采集彩色，且必须严格因果——只依赖 $\{g_s\}_{s\le t}$ 与内部状态，不能看未来帧。触发结果同时决定token数量：灰度走低容量分词器 $\psi_g(\cdot)$ 产生 $T_g$ 个token，RGB走高容量分词器 $\psi_c(\cdot)$ 产生 $T_c>T_g$ 个token，二者按时间顺序拼接后交给冻结解码器回答任意时刻的问题 $Q$。优化目标是在保持理解精度的前提下，让彩色帧总数 $\sum_t u_t$ 尽可能小。

灰度特征与窗口亲和矩阵

在每个时间步 $t$，系统用冻结的CLIP视觉编码器 $\phi(\cdot)$ 对因果滑窗 $W_t$（最近 $W$ 帧）内的每一帧提取CLS特征并做L2归一化： $$f_i=\frac{\phi(g_i)}{\|\phi(g_i)\|_2}\in\mathbb{R}^{d}$$ 把窗口内所有描述子按行堆成矩阵 $F_t\in\mathbb{R}^{n_t\times d}$，其Gram矩阵 $F_tF_t^{\top}$ 就是逐对余弦相似度。为保证半正定与数值稳定，再做一次仿射变换并强制对角线为1，得到窗口灰度亲和矩阵： $$\tilde{A}_t=\frac{1}{2}\left(F_tF_t^{\top}+I_{n_t}\right)\in[0,1]^{n_t\times n_t}$$ $\tilde{A}_t$ 只用当前窗口内的帧计算，严格因果；其元素越大代表两帧越冗余，越小代表越新颖或发生了变化。

多样性驱动的二次规划选择

给定亲和矩阵，作者把“哪些帧是非冗余、信息量大的”写成一个连续二次规划：为窗口内每帧分配一个选择权重 $w_t\in[0,1]^{n_t}$， $$w_t=\arg\min_{w\in[0,1]^{n_t}}\ \lambda\, w^{\top}\tilde{A}_t w\quad \text{s.t.}\quad \mathbf{1}^{\top}w=m_t$$ 其中 $m_t$ 是由控制器给出的伪预算。之所以用二次型而不是逐帧跟上一帧比相似度的简单阈值，是因为 $w^{\top}\tilde{A}_t w$ 同时考虑了窗口内所有帧两两之间的相关结构：如果把权重都压在互相相似的几帧上，目标会被重罚，迫使有限的预算 $m_t$ 分散到彼此差异大的帧上，从而自然挑出“真正新颖”而非“碰巧和最近一帧不像”的时刻。求解完成后只取当前帧（窗口最后一个元素）的权重 $s_t=(w_t)_{n_t}$ 作为它的重要性分数。

信用预算在线控制器

仅靠QP分数直接触发，在剧烈变化的场景里可能导致无限制触发、彩色开销失控。为此作者引入一个标量信用余额 $b_t\in[0,C]$，按目标速率 $r$ 累积、每次触发消耗1个单位，且裁剪在 $[0,C]$ 内： $$b_{t+1}=\mathrm{clip}(b_t-u_t+r,\,0,\,C)$$ 信用余额经单调映射 $m_t=\min(n_t,\lfloor b_t\rfloor)$ 转成窗口内的整数预算喂给QP，最终触发决策同时要求几何条件与预算条件都满足： $$u_t=\mathbb{I}\!\left[s_t\ge\theta \ \wedge\ b_t\ge 1\right]$$ 把式(4)对时间求和即可得到 $\sum_{t=1}^{T}u_t\le rT+C$，也就是说无论场景多动态，长期彩色帧总量都被严格限制在“目标速率×时长+初始容量”以内——这是单纯设阈值做不到的可证明保证，也是QP（几何判断）与信用门控（预算执行）解耦设计的价值所在。

动态令牌路由

由于低功耗灰度传感器通常分辨率和画质都低于RGB模块，作者进一步让灰度帧与触发的RGB帧走不同分辨率、不同token数的编码路径：灰度帧产出 $T_g$ 个token，RGB帧产出 $T_c>T_g$ 个token，按触发结果拼接成当前帧的token块： $$Z_t=(1-u_t)\,\psi_g(g_t)\ \oplus\ u_t\,\psi_c(c_t)$$ 所有 $Z_t$ 按时间顺序拼接后交给标准因果注意力解码器处理，总计算量 $\sum_t[(1-u_t)T_g+u_tT_c]$ 在触发稀疏时远低于“每帧都用高容量token”的统一方案，相当于把解码器算力集中花在真正被判定为重要的彩色时刻上。

小结

ColorTrigger的关键不是某一个模块，而是把“灰度几何多样性（QP）”与“长期预算执行（信用控制器）”解耦，再用动态token路由把这一因果触发信号同时用于省传感和省算力两端。

实验以InternVL3.5-8B为冻结骨干、CLIP ViT-B/16为灰度特征提取器，在StreamingBench、OVO-Bench两个流式VideoQA基准与离线长视频基准Video-MME上评测，并与多种视频MLLM对比，同时做组件消融分析。结论：RGB占比从个位数到三成多时，均能逼近甚至反超全彩基线。

关键数据

这篇论文把“事件驱动/按需感知”的思路从音频触发（如EgoTrigger）和事件相机搬到普通RGB传感器自带的低功耗灰度模式上，证明无需额外硬件也能压缩常开视频感知的采集与推理成本。它把色彩冗余量化为可证明有界的QP+信用预算问题，为流式视频MLLM与边缘/穿戴AI系统在传感器调度与token路由层面提供了训练无关、即插即用的参考设计。

局限与不足

ColorTrigger的触发完全基于CLIP特征的几何多样性，对“语义上重要但视觉上与历史帧相似”的时刻缺乏感知——论文自己也指出其触发是问题无关（question-agnostic）的纯视觉判断，这会导致相邻RGB比例之间QA性能出现非单调波动，而非随彩色帧增多单调提升。窗口大小W、阈值θ、目标触发率r、信用上限C等多个超参数依赖人工设定，论文未给出跨场景自适应或理论最优的选取方法，换新场景或新设备可能需要重新调参。此外该方法依赖设备能同时提供低功耗灰度直出模式与可按需开启的RGB模式，在不支持灰度模式的传感器上部署仍需额外适配；实验也主要是在现有视频数据集上离线模拟流式设置，真实边缘/穿戴设备上端到端的功耗、延迟与带宽收益尚未经实机验证。