换脸技术发展到今天，单帧的置换效果已经相当成熟，但一旦把静止的图片换成连续的视频，问题就暴露出来了：面部忽明忽暗、边界来回跳动、肤色一段偏黄一段偏红。这类闪烁问题的本质是时序不一致，也就是每一帧都被独立处理，帧与帧之间缺少约束。本文围绕帧间融合与肤色匹配两条主线，给出一套可落地的解决方案。
闪烁到底是怎么产生的
先说结论：绝大多数换脸闪烁来自三个源头。第一是检测抖动，人脸关键点检测器在不同帧上给出的关键点会有1到2个像素的随机偏移，导致贴回原脸时边界位置来回微动，肉眼看上去就是边缘在爬动。第二是生成网络的随机性，很多换脸模型在前向推理时依赖潜在编码，而逐帧提取的潜在编码天然带有噪声，输出结果就会在亮度、纹理细节上产生细微波动。第三是光照与色彩失配，源脸和目标脸的肤色、环境光不一致，如果每帧独立做色彩校正，校正参数本身的波动会被放大成画面闪烁。
理解了来源，对策就清晰了：检测层面要做关键点平滑，生成层面要做帧间融合，色彩层面要做全局统一的肤色匹配。三者缺一不可，只做其中一项往往效果有限。下面逐一展开。
帧间融合：让相邻帧互相约束
帧间融合的核心思想是：当前帧的输出不应该只由当前帧决定，还应该参考前后帧的信息。最直接的做法是光流对齐加加权平均。先用光流算法（如RAFT或传统的Farneback）计算前一帧到当前帧的运动场，把前一帧的换脸结果warp到当前帧坐标系，再与当前帧的原始输出做融合。
import cv2
import numpy as np
def fuse_with_prev(curr_face, prev_face, prev_gray, curr_gray, alpha=0.6):
"""用光流把前一帧结果对齐后与当前帧融合，alpha为当前帧权重"""
# 计算稠密光流
flow = cv2.calcOpticalFlowFarneback(
prev_gray, curr_gray, None,
0.5, 3, 15, 3, 5, 1.2, 0)
h, w = curr_gray.shape[:2]
# 构建映射网格
map_x = np.tile(np.arange(w), (h, 1)).astype(np.float32)
map_y = np.tile(np.arange(h), (w, 1)).T.astype(np.float32)
map_x += flow[..., 0]
map_y += flow[..., 1]
# 将前一帧换脸结果warp到当前帧坐标系
prev_warped = cv2.remap(prev_face, map_x, map_y, cv2.INTER_LINEAR)
# 加权融合，边界区域用掩码保护
fused = cv2.addWeighted(curr_face, alpha, prev_warped, 1 - alpha, 0)
return fused这个方法实现简单、开销小，适合实时场景。但它有个明显缺陷：当人物快速转头或有大动作时，光流估计不准，warp后的图像会出现扭曲，融合反而引入鬼影。所以实际工程中通常会加一个光流置信度判断，当前后帧的光流幅值中位数超过阈值时，自动降低融合权重甚至跳过融合，退回纯当前帧结果。
如果是基于深度学习管线，更好的做法是在训练阶段引入时序一致性损失。具体来说，把连续三帧作为一个样本输入网络，对输出序列计算相邻帧的L1差分，并约束这个差分与输入序列的相邻帧差分保持一致。这样网络在训练时就学会了输出平滑的时序变化，推理时无需额外后处理。代价是训练数据需要按序列组织，数据准备成本会上升，但对于影视级项目来说值得投入。
肤色匹配：从直方图到色彩迁移
解决了时序问题，剩下的就是色彩问题。肤色匹配的目标是让换上去的脸在色调、亮度、饱和度上与目标视频中原有的脖子、额头边缘皮肤自然衔接。最经典的方案是Reinhard颜色迁移，把源脸的RGB转到Laβ空间，分别对三个通道做均值和标准差的对齐，再转回RGB。
def reinhard_color_transfer(source, target):
"""将source的颜色统计迁移到target上，source为换脸结果，target为原脸区域"""
src = source.astype(np.float32) / 255.0
tgt = target.astype(np.float32) / 255.0
# 转换到LAB空间
src_lab = cv2.cvtColor(src, cv2.COLOR_RGB2LAB)
tgt_lab = cv2.cvtColor(tgt, cv2.COLOR_RGB2LAB)
result = np.zeros_like(src_lab)
for i in range(3):
s_ch = src_lab[..., i]
t_ch = tgt_lab[..., i]
# 标准差对齐加均值对齐
result[..., i] = (s_ch - s_ch.mean()) / (s_ch.std() + 1e-5) \
* t_ch.std() + t_ch.mean()
result = np.clip(result, 0, 255)
return cv2.cvtColor(result.astype(np.float32) / 255.0 * 255,
cv2.COLOR_LAB2RGB).astype(np.uint8)这里有一个非常关键且容易被忽视的细节：颜色统计的参考区域不要用整张脸，而应该只用目标脸的边缘环状区域，也就是换脸结果与原图交界的那一圈皮肤。因为中心区域会被换掉，只有边缘环才是最终画面中真正参与衔接的部分。很多实现直接拿整张目标脸做统计，导致换脸中心区域的色彩被拉偏。
另一个要点是统计量必须做时序平滑。如果每一帧都独立计算均值和标准差，参数本身的抖动会直接转化为画面闪烁。正确做法是用指数移动平均维护一组跨帧统计量：
class SmoothedStats:
def __init__(self, momentum=0.95):
self.mean = None
self.std = None
self.m = momentum
def update(self, mean, std):
if self.mean is None:
self.mean, self.std = mean, std
else:
self.mean = self.m * self.mean + (1 - self.m) * mean
self.std = self.m * self.std + (1 - self.m) * std
return self.mean, self.std动量取0.9到0.98之间比较稳妥，数值越小跟随越快但平滑效果弱，越大越稳定但面对光线突变时响应迟钝。如果目标视频存在明显的镜头切换，记得在切换点重置统计量，否则前一镜头的肤色统计会污染下一镜头。
方案选型与工程落地建议
把上面的手段组合起来，可以按项目需求分成两档。轻量方案适合直播、短视频等实时场景：关键点用OneEuroFilter平滑，光流融合加置信度门控，肤色用边缘环统计加EMA平滑，整体在普通GPU上可以跑到实时帧率。重量方案适合影视后期：网络训练时加入时序一致性损失，推理时再叠加光流融合和肤色迁移，并且可以离线做双向处理，即先正向过一遍视频得到中间结果，再反向融合一遍，进一步消除累积漂移。
调试时建议先把换脸结果与原视频做差分可视化，逐帧观察残差的分布。如果残差集中在边界，优先检查关键点平滑和掩码羽化；如果残差均匀分布在整个面部且随时间波动，问题多半出在生成网络的随机性和色彩校正上。定位准确之后再上对应手段，能少走很多弯路。最后提醒一点，任何平滑操作都是对时序的妥协，参数调得过于激进会牺牲动态真实感，比如笑容的变化会变得迟钝，一定要在稳定性和自然度之间反复权衡，用实际视频素材验证效果，而不是只看单一指标。