在视频理解任务中，直接对每一帧做模型推理会带来巨大的计算负担，导致实际处理的帧率远低于视频原始帧率。通过关键帧提取减少冗余计算，再借助光流法补全帧间运动信息，是解决这一问题的有效路径。
为什么视频理解会遇到帧率低的难题
视频通常由每秒24到30帧甚至更多的图像组成，如果神经网络对每一帧都运行一次完整的前向推理，显存占用和耗时都会随帧数线性增长。在实时监控、短视频审核等场景里，这种逐帧处理方式往往让系统跟不上视频流速度，出现积压和延迟。
另外，相邻视频帧之间画面内容高度相似，大部分像素变化极小。全部送入模型不仅浪费算力，还可能因为重复特征输入导致模型对动态事件不敏感。因此，必须从数据层面做减法，同时保证时间维度上的信息不丢失。
关键帧提取：把冗余帧挡在模型门外
关键帧指的是视频中画面内容发生明显变化的那些帧，比如镜头切换、主体出现或消失、动作起始等时刻。提取关键帧的思路是计算帧间差异，当差异超过设定阈值时才将该帧视为关键帧送入后续理解模型。常见方法包括基于像素差平方和、直方图比对，以及使用轻量网络提取特征后计算余弦距离。
举个例子，一段十秒的监控视频里，前八秒画面几乎静止，只有最后两秒有人走过。若按每秒25帧算共有250帧，但关键帧可能只有镜头刚打开的1帧和人物出现的3到5帧。模型只需处理这几帧，计算量就能降到原来的百分之二左右，帧率自然大幅提升。
需要注意的是，关键帧阈值设置过于宽松会漏掉重要动作，过于严格又会让关键帧数量回升。实践中常结合业务来调参，比如行为识别偏向保留运动剧烈片段，而场景分类可更大胆地丢弃相似帧。
光流法：用运动矢量补回被跳过的帧
只留关键帧会丢失中间帧的动态细节，光流法正是用来弥补这一点。光流是描述图像中每个像素在相邻帧之间运动速度和方向的技术，简单说就是算出自上一帧到当前帧，画面里每个点往哪走了、走了多远。得到光流场后，即使某帧没进模型，也能根据前后关键帧的光流推测其大致内容。
传统方法如Farneback算法可在CPU上快速算出稠密光流，深度学习法如FlowNet则精度更高但需显卡支持。在视频理解流水线中，可在关键帧之间插算光流，把光流图作为额外输入交给识别网络，让模型感知物体连续运动，而不必真的看到每一帧原图。
例如动作分类任务里，人在两关键帧之间挥了三次手，中间帧虽未提取，但光流清楚记录了手臂像素的往复移动，模型结合光流与关键帧就能正确判为挥手动作。这样既维持了高处理帧率，又没有牺牲时间建模能力。
关键帧与光流法如何协同工作
把两者结合的一般流程是：先以低成本的帧差或特征比对筛出关键帧，对其跑主模型得到语义特征；同时对全视频相邻帧算光流，形成运动线索。主模型在时空特征融合时，把关键帧特征按光流指引传播到邻近非关键位置，相当于用运动信息把稀疏关键帧铺成密集时序表达。
下面给出一个简化对照，帮助理解不同方案的处理量与信息完整度：
| 方案 | 每帧是否推理 | 相对计算量 | 时间信息保持 |
|---|---|---|---|
| 逐帧全推理 | 是 | 100% | 完整 |
| 仅关键帧 | 否（只推关键帧） | 约2%至10% | 易丢失中间运动 |
| 关键帧加光流 | 否（主模型只推关键帧，光流轻量算） | 约5%至15% | 靠光流补全，接近完整 |
从表里可以看出，关键帧加光流的方案用少许光流计算换回了时间维度上的连贯性，是兼顾帧率和效果的现实选择。部署时还可把光流计算放到独立轻量模块，进一步隐藏延迟。
落地应用的注意事项
在真实系统里，视频源可能有丢帧、模糊或编码瑕疵，关键帧阈值要留一定余量，防止把劣质帧当关键帧。光流对曝光突变和严重运动模糊比较敏感，遇到这类情况可临时退回相邻关键帧插值，而不是强行信光流。
另外，如果后端模型本身支持稀疏采样加时序池化，比如某些视频Transformer，关键帧提取可以与其采样策略对齐，避免重复工作。总体而言，先厘清自己的准确率底线和硬件上限，再决定关键帧密度与光流精度，才能把视频理解帧率真正提起来。