在Stable Video Diffusion（SVD）的推理链路里，输入图像会先经过CLIP图像编码器映射到潜空间，然后进入UNet进行时空去噪。训练阶段使用的数据集通常统一了宽高比和分辨率，如果测试时直接输入任意宽高比的图片，潜空间特征图在插值缩放时会产生各向异性的形变，这种形变在视频生成的时间注意力机制下会被进一步放大。预处理阶段对宽高比的处理，直接决定了最终视频的画面比例、主体完整性和边缘稳定性。
实际项目中，不少开发者会直接调用模型内置的resize，忽略了宽高比适配这个前置环节。结果就是生成的视频帧里，人物脸型被拉长，建筑直线变弯，画面边缘出现周期性抖动的黑边。要避免这些问题，需要理解模型对输入尺寸的隐性偏好，并在送入网络前用裁剪或填充把图片调整到接近训练分布的宽高比。
宽高比失调的根源与典型表现
Stable Video Diffusion 在训练阶段通常使用固定尺寸的帧，例如 576×1024 或者 768×768 这类组合。模型内部的 VAE 编码器和 UNet 对输入特征的宽高尺寸有隐性偏好，一旦推理时输入图片的宽高比与训练分布偏差较大，编码后的潜空间特征图在缩放到目标尺寸时就会产生不均匀的拉伸。举例来说，一张 500×900 的竖图直接缩放到 576×1024，横向被放大了约 1.15 倍，纵向被放大了约 1.14 倍，表面看差异不大，但经过多层卷积后，边缘区域的特征响应会出现明显偏移。
更关键的是时间注意力模块。SVD 生成视频帧序列时，时间注意力会沿着帧维度聚合空间特征，如果首帧的空间特征已经存在各向异性形变，后续帧会在物体边界、文字区域和直线结构上产生持续抖动。实际测试中，不处理宽高比的输入图片经常出现主体被压扁或拉长、画面四周黑边闪烁、远景建筑线条弯曲等现象。因此，预处理阶段不能简单依赖模型内部的 resize，需要显式地做宽高比适配。
不同任务的容差也不同。文生图对宽高比敏感度稍低，但视频生成对连续性和边缘稳定性要求更高。通常建议输入宽高比与训练尺寸的偏差控制在 10% 以内，超过这个范围就应该采用裁剪或填充策略进行干预。
裁剪策略：中心裁剪与显著区域裁剪
裁剪是解决宽高比失调最直接的方法。它的思路是保留原图的一部分区域，使该区域的宽高比与模型目标尺寸一致，再缩放到目标分辨率。中心裁剪实现简单，能够保留画面中央的主体内容，适合主体居中的肖像、产品图等场景。实现时先根据目标宽高比计算裁剪窗口的宽或高，然后从图像中心向外取区域。
import cv2
def center_crop_to_ratio(image, target_ratio):
h, w = image.shape[:2]
src_ratio = w / h
if src_ratio > target_ratio:
# 原图偏宽，按高度裁剪宽度
new_w = int(h * target_ratio)
x_start = (w - new_w) // 2
return image[:, x_start:x_start+new_w]
else:
# 原图偏高，按宽度裁剪高度
new_h = int(w / target_ratio)
y_start = (h - new_h) // 2
return image[y_start:y_start+new_h, :]
这段代码中，src_ratio > target_ratio 判断原图是否比目标更宽。如果原图偏宽，就固定高度不变，裁掉左右两侧多余的宽度；如果原图偏高，则固定宽度不变，裁掉上下两侧。裁剪后仍然需要缩放到模型输入尺寸，可以用 cv2.resize 完成。
中心裁剪的缺点也很明显：它假设主体位于画面中央，但现实图片中主体可能偏向一侧，或者全景图的核心内容在边缘。例如一张合影照片，人物分布在左右两侧，中心裁剪会直接切掉两侧的人。更稳妥的做法是显著区域裁剪，先使用目标检测或显著性检测模型定位主体区域，再围绕主体框进行裁剪。在 Python 中可以用 OpenCV 的显著性检测模块，或者调用轻量级检测模型得到边界框，然后扩展边界框到目标宽高比。实际工程中，如果主体检测不稳定，可以退化为中心裁剪并增加 20% 的安全边距。
这个策略在视频生成任务中还要注意帧间一致性。对静态图片处理时可以逐张独立裁剪，但对视频序列抽帧或者多帧输入时，裁剪窗口的跳变会造成画面抖动。通常会对同一镜头内的所有帧使用相同的裁剪窗口，或者对裁剪窗口中心做平滑插值。
填充策略：固定填充与自适应填充
填充是另一种处理宽高比失调的思路：保留原图全部内容，通过在短边两侧添加像素的方式补齐到目标宽高比，再缩放到模型输入尺寸。这样做的好处是不丢失任何画面信息，适合风景图、建筑图等边缘信息重要的场景。最简单的做法是固定颜色填充，例如在图像上下方或左右方填充黑色或白色像素。
import cv2
import numpy as np
def pad_to_ratio(image, target_ratio, fill_color=(0, 0, 0)):
h, w = image.shape[:2]
src_ratio = w / h
if src_ratio < target_ratio:
# 原图偏窄，需要左右填充
target_w = int(h * target_ratio)
pad_total = target_w - w
pad_left = pad_total // 2
pad_right = pad_total - pad_left
return cv2.copyMakeBorder(image, 0, 0, pad_left, pad_right,
cv2.BORDER_CONSTANT, value=fill_color)
else:
# 原图偏宽，需要上下填充
target_h = int(w / target_ratio)
pad_total = target_h - h
pad_top = pad_total // 2
pad_bottom = pad_total - pad_top
return cv2.copyMakeBorder(image, pad_top, pad_bottom, 0, 0,
cv2.BORDER_CONSTANT, value=fill_color)
这里的 cv2.copyMakeBorder 可以直接完成边缘扩充，BORDER_CONSTANT 模式使用纯色填充。对于生成模型来说，纯黑或纯白填充区域会在潜空间中被编码成非自然特征，模型可能把这些区域误解为画面内容，导致生成结果在填充边界出现奇怪的纹理或发光带。一个改进方案是使用边缘复制或反射填充，例如将 cv2.BORDER_CONSTANT 替换为 cv2.BORDER_REFLECT_101，让填充像素复制图像边缘的纹理，降低模型对填充区域的感知突兀度。
自适应填充则更进一步，不固定填充颜色，而是对填充区域做高斯模糊或者内容感知填充。例如先从原图边缘向外扩展 10 到 20 像素的模糊带，再过渡到纯色，让边界过渡更柔和。也有方案直接在填充区域填充原图的镜像翻转，这样对称性强，模型更容易学习到填充区域不是真实内容。
不过，填充策略有一个天然问题：模型输入尺寸不变，填充区域占用了原本属于有效画面的像素预算。当原图与目标宽高比差异很大时，填充区域会占据 30% 以上，生成视频的有效视野被压缩，画面可能会显得空旷或主体变小。因此，差异过大时应该优先考虑裁剪，或者结合缩放加填充，先缩放到接近目标比例再少量填充。
组合策略与工程实践
单纯使用裁剪会丢失内容，单纯使用填充会浪费像素预算。工程上更好的做法是根据原图宽高比与目标宽高比的差异程度动态选择策略。例如设定两个阈值：差异小于 0.15 时直接缩放即可；差异在 0.15 到 0.35 之间使用填充，因为画面损失不大；差异超过 0.35 时使用裁剪，保留主体区域。这样可以平衡内容完整性和画面利用率。
def adapt_ratio(image, target_ratio, max_pad_ratio=0.35):
h, w = image.shape[:2]
src_ratio = w / h
diff = abs(src_ratio - target_ratio) / target_ratio
if diff < 0.15:
return cv2.resize(image, (int(w), int(h)))
elif diff <= max_pad_ratio:
return pad_to_ratio(image, target_ratio)
else:
return center_crop_to_ratio(image, target_ratio)
上面这个函数把三种路径合并起来：差异小时直接缩放，中等差异用填充，大差异用裁剪。在实际使用中，max_pad_ratio 可以根据业务微调，例如人像场景可以设置得低一些，风景场景设置得高一些。还要注意目标宽高比不能只写一个固定值，有些模型支持多种宽高比，例如 SVD 支持 16:9、9:16、1:1 等，应根据用户上传图片的比例选择最接近的模型预设，而不是硬编码为 1:1。
另一个容易忽略的点是批量处理。视频生成任务往往一次处理多张图片，如果每张图片独立选择裁剪或填充策略，最终生成的视频之间宽高比会不一致，给后期拼接带来麻烦。建议在任务开始时统一所有图片的目标宽高比，并记录下预处理参数，方便后续追溯。如果一定要混合不同宽高比，可以在视频合成阶段使用画布统一补边，而不是在模型推理前破坏原图。
调优过程中，可以对比不同策略下的生成视频第一帧和最后一帧，观察主体边缘是否稳定，填充区域是否产生闪烁。必要时可以在预处理后接一个轻量的边缘检测，评估裁剪或填充带来的边界伪影。总之，宽高比处理没有放之四海而皆准的方案，核心是根据内容特征和模型能力做权衡。
Stable Video Diffusion宽高比填充策略修改时间：2026-09-20 00:44:34