插帧算法要在两帧之间合成中间帧，它依赖的不仅是插值核形状，更是每个像素从源帧到中间帧的映射关系。运动估计给出这种映射，遮挡处理则决定哪些像素无法通过映射获得可靠颜色。把这两件事分开看，大多数边缘重影、撕裂和颜色渗漏都能找到对应原因。例如前景物体横向移动时，背景像素在下一帧被遮住，前向光流无法在前景遮挡区域找到正确匹配，如果仍与后向预测平均，前景边缘就会混入背景纹理。
一、运动估计为什么决定插帧质量
运动估计的输出通常是一张二维光流图，表示每个像素从当前帧到下一帧的位移。光流算法一般基于亮度恒定、小位移和局部平滑假设，但真实视频中物体可能跨越大范围位移，运动边界两侧的光流方向完全相反，弱纹理区域又缺少可跟踪特征。此时如果直接使用低分辨率光流做warp，物体边缘会被平滑成一个过渡带，前景与背景的运动矢量混在一起，中间帧自然出现重影。
改进运动估计的首要方式是构造金字塔分层计算。先在低分辨率图上估计大位移，再把结果作为初值逐步细化到高分辨率，这样能兼顾大运动和精细边缘。OpenCV 的 Farneback 光流已经内置了金字塔参数，调整 levels、winsize 和 iterations 可以改变边缘保持能力。深度学习方法如 RAFT 则显式构建相关体并迭代更新光流，对运动边界和遮挡区域更鲁棒，但计算量更大。下面是一个使用 Farneback 同时计算前向和后向光流的示例。
import cv2
import numpy as np
prev = cv2.imread('frame_0.png')
next_frame = cv2.imread('frame_1.png')
prev_gray = cv2.cvtColor(prev, cv2.COLOR_BGR2GRAY)
next_gray = cv2.cvtColor(next_frame, cv2.COLOR_BGR2GRAY)
flow_forward = cv2.calcOpticalFlowFarneback(
prev_gray, next_gray, None,
pyr_scale=0.5, levels=5,
winsize=15, iterations=5,
poly_n=7, poly_sigma=1.5,
flags=0
)
flow_backward = cv2.calcOpticalFlowFarneback(
next_gray, prev_gray, None,
pyr_scale=0.5, levels=5,
winsize=15, iterations=5,
poly_n=7, poly_sigma=1.5,
flags=0
)
光流计算完成后不要立即做合成。由于二维光流无法直接表达遮挡关系，在运动边界处再好的光流也可能把前景像素映射到背景位置。更可靠的做法是同时计算前向光流和后向光流，用两者的一致性来推断哪些像素在当前帧或下一帧中不可见，这就是遮挡检测的入口。
二、遮挡检测：用一致性误差寻找不可映射像素
前后向一致性检查的思路很直接：如果帧 A 中某个像素 p 能通过前向光流映射到帧 B 中的 p'，再从 p' 用后向光流映射回帧 A，理想情况下应该回到 p 附近。若回投位置与原始位置偏差很大，说明该像素在另一帧中可能被遮挡，或者光流本身不可靠。这个误差比单纯看光流大小更能反映遮挡。
下面的代码实现了前向遮挡图和后向遮挡图的计算。先对前向光流做一次映射，再用后向光流把点投回来，计算欧氏距离误差。阈值以上的像素被标记为候选遮挡，再通过高斯模糊生成软掩码。
def compute_occlusion(flow_ab, flow_ba):
h, w = flow_ab.shape[:2]
y, x = np.mgrid[0:h, 0:w].astype(np.float32)
x2 = np.clip(x + flow_ab[..., 0], 0, w - 1)
y2 = np.clip(y + flow_ab[..., 1], 0, h - 1)
back_flow = flow_ba[y2.astype(np.int32), x2.astype(np.int32)]
x3 = x2 + back_flow[..., 0]
y3 = y2 + back_flow[..., 1]
error = np.sqrt((x3 - x) ** 2 + (y3 - y) ** 2)
occ = (error > 2.0).astype(np.float32)
return cv2.GaussianBlur(occ, (15, 15), 3.0)
occ_from_prev = compute_occlusion(flow_forward, flow_backward)
occ_from_next = compute_occlusion(flow_backward, flow_forward)
硬二值掩码会让合成权重在遮挡边界突然跳变，造成新的轮廓伪影。因此实际工程中通常做一次高斯模糊，或者在时间维度上对连续帧的遮挡图做滑动平均。阈值的选择也应根据光流尺度和噪声水平调整，运动越快阈值可以略高，弱纹理区域则可适当降低。
三、遮挡感知合成与孔洞修补
拿到两张遮挡图后，中间帧的每个像素就不再简单取前后帧的平均。若某像素在前一帧中被判为不可见，就应降低从前一帧warp过来的颜色权重，主要由后一帧单侧预测。反之亦然。这样前景边缘不会因为强行混合而产生半透明重影。相比直接 0.5 平均，遮挡感知加权会在物体边缘保留清晰边界。
下面代码先对前后帧做运动补偿，再根据两张软遮挡图计算归一化权重，最后合成中间帧。示例使用了前向光流的一半来近似中间帧到相邻帧的位移，实际系统可以单独估计中间帧光流以获得更高精度。
def warp_frame(img, flow):
h, w = flow.shape[:2]
y, x = np.mgrid[0:h, 0:w].astype(np.float32)
map_x = x + flow[..., 0]
map_y = y + flow[..., 1]
return cv2.remap(img, map_x, map_y, cv2.INTER_LINEAR, borderMode=cv2.BORDER_REFLECT)
warped_prev = warp_frame(prev, flow_forward * 0.5)
warped_next = warp_frame(next_frame, -flow_backward * 0.5)
eps = 1e-6
w_prev = (1.0 - occ_from_prev) / ((1.0 - occ_from_prev) + (1.0 - occ_from_next) + eps)
w_next = (1.0 - occ_from_next) / ((1.0 - occ_from_prev) + (1.0 - occ_from_next) + eps)
mid_frame = (warped_prev.astype(np.float32) * w_prev[..., None] +
warped_next.astype(np.float32) * w_next[..., None])
mid_frame = np.clip(mid_frame, 0, 255).astype(np.uint8)
即使权重处理正确，前向warp仍可能留下没有投影的孔洞，特别是在物体快速移动或画面边缘。常用修复方式是对孔洞做 cv2.inpaint 或中值滤波，但更好的策略是改用反向warp：从中间帧的每个像素出发，按照光流去前后帧采样，天然避免孔洞。反向warp也会有自己的模糊问题，因此需要与遮挡权重结合使用。
另一个容易忽视的是颜色泄漏。软遮挡图虽然平滑，但若前景边缘的遮挡判定不够准确，背景颜色仍会渗透到前景边缘。此时可以在遮挡图上叠加边缘保持滤波，或引入深度信息辅助判断前后关系。深度图能把遮挡从二维光流一致性中解放出来，代价是增加计算链路。
四、工程调优与效果评估
在实际落地时，运动估计算法的选择通常不是越准越好，而是要在功耗、延迟和画质之间取平衡。电视芯片中的 MEMC 模块常采用硬件光流或块匹配，优势是实时性稳定；软件方案中 Farneback 和 DIS 适合低延迟场景，RAFT 等深度模型则更适合离线增强或高算力平台。可以先用轻量光流做全局插帧，再对运动边界区域进行二次精化。
评估插帧效果不能只看单帧 PSNR。多数伪影在静态帧中可能不明显，但连续播放时会出现闪烁、抖动和边角跳动。建议同时观察运动边界的时间一致性，并比较遮挡区域在相邻帧之间的变化是否平滑。必要时对光流和遮挡图做时域滤波，能显著减少帧间不稳定。
伪影治理是一个链路问题：光流负责提供候选映射，一致性检查负责筛掉不可靠映射，遮挡加权负责决定颜色来源，孔洞修补和时域滤波负责兜底。把每一级的责任划分清楚，调试时就能快速定位伪影来源，而不是盲目增加光流迭代次数或调整插值系数。