光流伪影在视频插帧、运动补偿去模糊和跟踪特征对齐中非常常见。原始光流估计经常在物体边缘出现矢量溢出、在低纹理区域出现随机抖动，在遮挡区域出现完全错误的匹配。要解决这些问题，不能只依赖光流模型本身的预测精度，还需要在光流场后处理阶段加入平滑节点和遮挡处理。平滑节点负责抑制孤立噪声并保持运动边界，遮挡处理负责识别没有有效对应点的像素区域，防止错误光流继续传播到后续合成步骤。
光流伪影从哪里来
光流估计的基本假设是亮度恒定，即同一个空间点在相邻帧中的投影亮度保持不变。这个假设在很多真实视频中并不成立。比如摄像机自动曝光导致整体亮度变化，或者物体快速运动产生运动模糊，都会让匹配误差变大。低纹理区域是另一个典型问题，天空、白墙、路面等区域缺少足够的灰度梯度，光流求解时方程严重欠定，估计器只能给出一个接近随机或随平滑项主导的矢量，这些矢量在时间上不稳定，表现为光流场中的抖动。
运动边界处的问题更明显。前景物体和背景具有不同的运动速度，边界两侧的光流应当出现突变。但很多光流估计算法在边界处会过度平滑，或者因为感受野跨过边界而把前景和背景的运动混在一起，形成光流溢出。此时即使边界像素的亮度差异明显，估计出的光流也可能在物体轮廓外产生一圈错误方向。重复纹理区域则会让块匹配方法产生歧义，比如一排相同窗户或规则砖墙，算法很容易把当前块的对应点匹配到相邻周期，得到完全错误的位移。
遮挡是最难处理的情况。在 t 帧到 t+1 帧之间，前景物体移动后会遮挡住一部分背景，这部分背景像素在 t+1 帧中已经不可见；同时前景物体后方可能暴露出新的背景区域，这些区域在 t 帧中也不可见。遮挡位置没有真正的对应点，基于匹配的光流只能强行找到某个候选点，因此前后向一致性会很差。如果不显式检测遮挡并用背景信息填补，后续的视频插帧会在这些位置产生鬼影、边缘撕裂或颜色混合。
光流平滑节点的设计
平滑节点的核心任务是在不破坏运动边界的前提下，去除光流场中的异常值和噪声。最简单的做法是对光流两个通道分别做高斯模糊，但这种方式会同时模糊运动边界，导致前景和背景的运动矢量互相污染。更合适的思路是使用边缘保持滤波，例如引导滤波或双边滤波。引导滤波以参考帧灰度图作为引导图，在平坦区域允许较大的平滑力度，在图像边缘处降低跨边界的平滑权重，从而保持光流边界的锐利。
中值滤波是另一种常用且成本较低的异常值剔除方法。对光流分量使用小尺寸中值滤波，可以去掉孤立的错误矢量，而不会像均值滤波那样把离群值平均到邻域。窗口尺寸一般选择 3 到 5，窗口过大会把小物体的真实运动也当成离群点。更精细的方案是加权中值滤波，权重由参考帧的颜色差异决定。颜色差异越大，权重越低，这样窗口中跨颜色边界的像素不会参与中值计算，运动边界得以保留。
在工程实现中，一个光流平滑节点可以拆成三步：先做异常点检测，计算每个像素与其邻域光流中位数的偏差，超过阈值则用邻域中值替代；然后做边缘保持滤波，以参考帧作为引导图；最后做一次前后一致性检查，剔除平滑后仍然不稳定的矢量。下面给出一个基于 OpenCV 的平滑函数：
import cv2
import numpy as np
def smooth_flow(flow, ref_gray, median_ksize=5, guide_radius=4, guide_eps=1e-4):
if flow is None:
return None
fx = flow[..., 0]
fy = flow[..., 1]
# 第一步：中值滤波剔除孤立异常点
fx_med = cv2.medianBlur(fx.astype(np.float32), median_ksize)
fy_med = cv2.medianBlur(fy.astype(np.float32), median_ksize)
# 第二步：引导滤波保持运动边界
fx_guide = cv2.ximgproc.guidedFilter(
guide=ref_gray,
src=fx_med,
radius=guide_radius,
eps=guide_eps,
dDepth=-1
)
fy_guide = cv2.ximgproc.guidedFilter(
guide=ref_gray,
src=fy_med,
radius=guide_radius,
eps=guide_eps,
dDepth=-1
)
return np.stack([fx_guide, fy_guide], axis=-1)
该函数首先对水平分量和垂直分量分别做中值滤波，再调用 OpenCV contrib 模块中的 guidedFilter。引导滤波的引导图使用参考帧灰度，这样平滑权重能根据图像边缘自动调整。如果 OpenCV 没有编译 contrib 模块，可以改用双边滤波或自己实现引导滤波。实际调试时建议把中值核尺寸和引导滤波半径设置为可调参数，因为在低分辨率视频和高分辨率视频上合适的参数差异很大。
遮挡检测与掩码填充
遮挡检测主要依靠前向光流和反向光流的一致性。先计算 t 帧到 t+1 帧的前向光流，再计算 t+1 帧到 t 帧的反向光流。对 t 帧的每个像素 p，通过前向光流映射到下一帧的位置 p1，然后用反向光流从 p1 映射回来。如果 p 与映射回来的位置 p2 之间的距离大于阈值，则认为 p 处于遮挡区域或匹配不可靠。这个阈值通常设置为 1 到 3 像素，具体取决于光流估计噪声水平。
一致性检查的原理很直观：非遮挡像素的运动在局部时间内应当可逆，前向和反向光流能够互相抵消。遮挡像素无法找到正确对应点，前向光流往往是强行匹配，反向光流也无法恢复原始位置，因此误差较大。实际操作中，反向光流需要在 p1 处进行亚像素采样，使用 remap 或 grid_sample 完成。采样时要注意边界像素，通常用常值填充并标记为无效。
得到遮挡掩码后，不能直接将遮挡像素的光流置零。零矢量会让后续插帧复制原始位置的内容，造成前景边缘和背景之间出现硬边或鬼影。更好的策略是从背景侧扩散有效光流到遮挡区域。背景光流通常比前景光流更稳定，因为背景在短时间内运动幅度较小。可以先对遮挡掩码做形态学开闭操作去除孤立噪点，然后从遮挡区域边界开始迭代膨胀，每次把新扩展像素的光流设置为相邻非遮挡像素的加权平均，权重由颜色相似度决定。
下面的代码演示如何计算遮挡掩码：
import cv2
import numpy as np
def detect_occlusion(flow_fwd, flow_bwd, threshold=2.0):
h, w = flow_fwd.shape[:2]
y, x = np.mgrid[0:h, 0:w].astype(np.float32)
# 前向映射后的坐标
x_fwd = x + flow_fwd[..., 0]
y_fwd = y + flow_fwd[..., 1]
# 在反向光流上采样映射点的运动
map_x = x_fwd.astype(np.float32)
map_y = y_fwd.astype(np.float32)
bwd_at_fwd = cv2.remap(
flow_bwd,
map_x,
map_y,
interpolation=cv2.INTER_LINEAR,
borderMode=cv2.BORDER_CONSTANT,
borderValue=0
)
# 反向映射回原始坐标
x_back = x_fwd + bwd_at_fwd[..., 0]
y_back = y_fwd + bwd_at_fwd[..., 1]
diff = np.sqrt((x_back - x) ** 2 + (y_back - y) ** 2)
occ_mask = (diff > threshold).astype(np.uint8)
# 形态学去噪
occ_mask = cv2.morphologyEx(occ_mask, cv2.MORPH_OPEN, np.ones((3, 3), np.uint8))
occ_mask = cv2.morphologyEx(occ_mask, cv2.MORPH_CLOSE, np.ones((5, 5), np.uint8))
return occ_mask
这一实现先计算前向映射坐标，再通过 remap 在反向光流场中采样，最后计算往返误差。注意代码中比较运算使用 > 转义，这是在 HTML 中展示代码时的必要处理。实际使用时，threshold 参数需要根据光流估计器的误差分布调整，过小会引入大量噪声，过大则会漏掉遮挡边界。得到掩码后，可继续使用背景扩散算法填充光流，填充完成后再做一次小半径中值滤波，避免膨胀产生的方向突变。
在视频插帧管线中的整合
光流平滑节点和遮挡处理通常作为视频插帧或运动补偿管线的中间模块。标准流程是先估计前向光流和反向光流，然后对两个方向的光流分别进行平滑，再计算遮挡掩码，最后根据时间戳合成中间帧。如果只做光流平滑而不处理遮挡，插帧结果在物体边缘仍然会出现撕裂；如果只处理遮挡而不做平滑，低纹理区域的抖动会破坏背景稳定性。
在合成中间帧时，可以根据遮挡掩码决定像素来源。非遮挡区域直接使用前向光流和后向光流对齐后的像素加权融合；遮挡区域则只使用单侧光流或背景填充后的光流，从可见的一侧获取颜色。这样处理后的中间帧在遮挡边界处不会同时混合前景和背景颜色，能明显减少鬼影和半透明边缘。
性能方面，中值滤波和引导滤波都是局部操作，适合 GPU 并行化。对于 1080p 视频，使用 OpenCV CUDA 版本或自定义 shader 可以将光流平滑和遮挡检测控制在每帧几毫秒。如果平台算力有限，可以先用二分之一或四分之一分辨率计算光流和遮挡掩码，再上采样到原始分辨率。掩码分辨率不足时，可在上采样后做形态学闭合，避免遮挡区域出现孔洞。
最后需要注意的是，光流后处理只能修复估计结果中的局部错误，不能完全替代光流模型本身的改进。对于大位移、非刚性变形和严重遮挡场景，仍需要更强的主干网络或金字塔匹配策略。将平滑节点与遮挡处理作为独立模块，可以在不改变主干模型的情况下快速提升工程效果，也便于在调试过程中分别定位是光流估计问题还是后处理问题。