图像送进模型之前,几乎都要先过一道预处理。原始图片的像素值是0到255的整数,不同图片的亮度、对比度差异很大,如果直接喂给神经网络,梯度更新会变得不稳定,收敛速度也慢。归一化和标准化解决的就是数值尺度问题,而数据增强则是在不采集新数据的前提下,把训练集扩充出几倍的样本量。这三件事看似基础,却是决定视觉任务上限的关键环节,OpenCV提供了完整的函数支持,下面逐一展开。

归一化:把像素值压到统一的尺度
归一化最常见的形式是Min-Max缩放,公式为x'等于x减去最小值再除以最大值减最小值,把整幅图的像素线性映射到0到1区间。对8位图来说,等价于直接除以255。这一步的意义在于让不同亮度条件的图片落在同一数值范围内,避免某些神经元因为输入过大而饱和。需要注意的是,OpenCV读取的图像默认是uint8类型,直接参与浮点运算会溢出或被截断,所以转换dtype是归一化前必须做的动作。
import cv2
import numpy as np
img = cv2.imread('cat.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 方式一:cv2.normalize做Min-Max归一化
norm = cv2.normalize(gray, None, 0, 1.0, cv2.NORM_MINMAX, dtype=cv2.CV_32F)
# 方式二:手动除以255,效果等价
manual = gray.astype(np.float32) / 255.0cv2.normalize的第二个参数是输出数组,传None表示自动创建;alpha和beta分别对应目标区间的下限和上限。除了NORM_MINMAX,这个函数还支持NORM_L2和NORM_INF等范数归一化,前者常用于把图像向量缩放成单位长度,在基于直方图对比或特征匹配的场景里用得比较多。如果只是为训练模型做准备,Min-Max加除以255已经覆盖了绝大多数需求。
这里有一个容易踩的坑:归一化之后再做增强,某些操作(比如亮度加减)可能让数值超出0到1,最好在流水线最后一步用np.clip把范围裁回来,否则数值会带着越界状态进入网络。另外,除以255适合绝大多数自然图像,但如果图像来自16位医学影像或者浮点雷达数据,就需要按实际位深计算最大值,不能想当然地写死255。
标准化:用均值和方差重塑数据分布
标准化和归一化经常被当成一回事,其实数学含义不同。标准化做的是Z-Score变换,即减去均值再除以标准差,处理后的数据均值为0、方差为1,整体分布更接近标准高斯。对卷积网络来说,这种分布能让损失曲面更平滑,梯度下降走得更稳。归一化只保证范围,标准化还调整了分布形状,两者可以先后叠加使用,先除以255再标准化是常见顺序。
import cv2
import numpy as np
img = cv2.imread('cat.jpg').astype(np.float32) / 255.0
# 使用ImageNet统计量做标准化
mean = np.array([0.485, 0.456, 0.406], dtype=np.float32)
std = np.array([0.229, 0.224, 0.225], dtype=np.float32)
standardized = (img - mean) / std上面代码里的均值和标准差来自ImageNet数据集,做迁移学习时直接套用即可。如果是从零训练自己的数据,更严谨的做法是遍历一遍训练集,统计每个通道的真实均值和方差。还有个高频出错点:OpenCV读图是BGR通道顺序,而ImageNet那组统计量是按RGB算的,直接套用等于把统计量错位套到了通道上,必须先用cv2.cvtColor转成RGB再标准化,否则预训练权重的效果会打折扣。
统计口径也要想清楚。是对整个数据集算一组全局均值方差,还是每张图单独算,两种策略效果差别很大。全局统计量保留了图片之间的明暗差异信息,适合自然图像;逐图标准化会抹掉这种差异,在光照剧烈变化但目标本身不依赖亮度的任务里反而更鲁棒,比如某些工业检测场景。没有绝对的对错,取决于光照差异对任务是有效信息还是噪声。
几何变换类数据增强
几何增强通过翻转、旋转、裁剪、平移等操作改变图像的空间结构,是扩充样本最直接的手段。水平翻转几乎是分类任务的标配,一行代码就能把数据集翻倍;垂直翻转则要谨慎,自然图像里上下颠倒往往不代表真实分布。旋转方面,小角度旋转模拟拍摄视角的轻微偏移,通常设置在正负15度以内,角度太大会引入过多填充区域,反而污染训练分布。
import cv2
import numpy as np
img = cv2.imread('cat.jpg')
# 水平翻转与垂直翻转
flip_h = cv2.flip(img, 1)
flip_v = cv2.flip(img, 0)
# 任意角度旋转,边界用反射填充避免黑边
h, w = img.shape[:2]
angle = np.random.uniform(-15, 15)
M = cv2.getRotationMatrix2D((w / 2, h / 2), angle, 1.0)
rotated = cv2.warpAffine(img, M, (w, h), borderMode=cv2.BORDER_REFLECT)getRotationMatrix2D的三个参数分别是旋转中心、角度和缩放系数,把中心设在图像正中可以避免内容跑出画布。warpAffine的borderMode参数决定了旋转后露出的边界怎么填,默认的黑色填充在语义分割里是灾难,因为模型会把大片黑色当成一个真实类别,换成BORDER_REFLECT或BORDER_WRAP能明显缓解这个问题。
随机裁剪是另一个性价比极高的增强。先把图像resize到稍大的尺寸,再从中随机裁出目标大小,等于让模型每次看到目标的不同局部,无形中学到了平移不变性。裁剪比例一般控制在原尺寸的七成以上,裁得太碎会丢失全局语义。平移效果类似,可以通过仿射变换矩阵中的平移分量实现,或者直接用numpy切片后补边,两者本质都是让目标出现在画面的不同位置。
颜色类增强与语义风险
颜色增强调整的是像素的数值分布而非空间结构,包括亮度、对比度、饱和度和色相抖动。convertScaleAbs一个函数就能搞定前两项,计算规则是输出等于输入乘alpha加beta,alpha控制对比度、beta控制亮度。HSV空间的抖动更灵活,H通道管色相、S通道管饱和度、V通道管明度,各自独立扰动互不干扰。
import cv2
import numpy as np
img = cv2.imread('cat.jpg')
# 亮度与对比度调整
bright = cv2.convertScaleAbs(img, alpha=1.0, beta=30)
contrast = cv2.convertScaleAbs(img, alpha=1.5, beta=0)
# HSV颜色抖动
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV).astype(np.float32)
hsv[..., 0] = (hsv[..., 0] + np.random.uniform(-10, 10)) % 180
hsv[..., 1] = np.clip(hsv[..., 1] * np.random.uniform(0.8, 1.2), 0, 255)
hsv[..., 2] = np.clip(hsv[..., 2] * np.random.uniform(0.8, 1.2), 0, 255)
jittered = cv2.cvtColor(hsv.astype(np.uint8), cv2.COLOR_HSV2BGR)颜色增强并非万能,用错场景会直接毁掉任务。手写数字识别里数字的颜色本身就是无关特征,怎么抖都行;但医学影像的染色深浅可能对应病变程度,色相抖动等于给标签注入噪声;交通标志识别更是重灾区,红色禁令标志被抖成蓝色,标签却还是禁令类,模型只能学到错误映射。上线任何颜色增强前,先问一句:颜色在这个任务里是特征还是噪声。
抖动幅度也有讲究。饱和度和明度的扰动系数通常控制在0.8到1.2之间,色相偏移在正负10度以内,超出这个范围生成的图片会明显失真。一个实用的检验方法是随机抽几张增强后的图人眼看一遍,如果肉眼都觉得不像真实数据,模型大概率也学不到有用的东西,宁可保守也不要激进。
串成一条完整的预处理流水线
实际工程里这些操作不是孤立调用的,而是按固定顺序串成流水线。顺序原则很简单:先做几何和颜色增强,再做归一化和标准化,数值变换永远放最后,因为增强操作大多假设输入是0到255的uint8图像,先归一化再做增强会破坏数值假设。训练和推理的流程也要对齐,训练时随机增强、推理时确定性裁剪,保证两边的数据分布一致。
记住一条铁律:几何与颜色增强在前,归一化与标准化在后,数值变换永远是流水线的最后一站。
import cv2
import numpy as np
def random_crop(img, size=224):
h, w = img.shape[:2]
top = np.random.randint(0, h - size + 1)
left = np.random.randint(0, w - size + 1)
return img[top:top + size, left:left + size]
def preprocess(img_bgr, train=True):
# 统一缩放到稍大尺寸
img = cv2.resize(img_bgr, (256, 256))
if train:
# 随机水平翻转加随机裁剪
if np.random.rand() > 0.5:
img = cv2.flip(img, 1)
img = random_crop(img, 224)
else:
# 推理时做中心裁剪,保持确定性
h, w = img.shape[:2]
top, left = (h - 224) // 2, (w - 224) // 2
img = img[top:top + 224, left:left + 224]
# 数值变换放最后:归一化加标准化
img = img.astype(np.float32) / 255.0
mean = np.array([0.485, 0.456, 0.406], dtype=np.float32)
std = np.array([0.229, 0.224, 0.225], dtype=np.float32)
return (img - mean) / std这套流水线把增强、归一化、标准化按正确顺序组合,训练分支带随机性、推理分支保持确定性,是分类任务的标准范式。如果追求更高的吞吐量,可以把整个流程迁移到albumentations这类库上,它底层同样调用OpenCV,但做了多线程和概率组合的封装,单机增强速度能提升数倍;再往上还有GPU侧的DALI方案。无论工具怎么换,背后的原理和顺序规则是不变的,理解了这些细节,换任何框架都能快速上手。