单幅图像雨条纹去除是计算机视觉里典型的图像复原子任务，目标是在只有一张被雨干扰的图时，估测并扣掉附着在表面的雨纹，还原出清晰背景。和视频去雨不同，单幅图没有时域冗余可用，只能从空间域的统计特性或数据驱动模型里找线索。雨条纹在像素上通常呈现为局部高亮、有方向性的细长结构，和背景边缘在频率与形态上有一定可分性，但也常常和树枝、电线等细长物体混淆，这是算法设计的核心难点。
传统基于先验与稀疏表示的去雨思路
在深度学习流行之前，研究者大多把有雨图像建模为背景层与雨层相加：O = B + R。其中背景层B被认为光滑或稀疏，雨层R则被假设为在某种变换域里具有低秩或稀疏性质。典型做法是利用高斯混合模型刻画背景 patch 分布，同时用字典学习让雨纹在过完备字典下仅用极少原子就能表达，从而通过求解优化问题分离两者。
这类方法一般会写成一个能量最小化形式，例如加入背景全变分约束和雨层稀疏约束。优点是无需训练数据，对合成雨图效果不错；缺点是对真实雨图里的风偏、远近景雨滴尺度变化适应差，且优化迭代慢。下面是一段用 Python 模拟稀疏编码分离的简单示意，仅展示思路而非完整系统：
import numpy as np
from sklearn.decomposition import DictionaryLearning
# 假设 X 是拉平后的图像块矩阵，形状为 (n_features, n_samples)
def separate_rain(X, n_components=50, alpha=1.0):
# 学习背景与雨共享字典
dl = DictionaryLearning(n_components=n_components, alpha=alpha, max_iter=100)
dictionary = dl.fit(X.T).components_
# 对每列编码
from sklearn.linear_model import Lasso
coef = []
for col in X.T:
model = Lasso(alpha=alpha)
model.fit(dictionary.T, col)
coef.append(model.coef_)
C = np.array(coef)
# 按系数能量粗略划分背景与雨
bg = dictionary.T.dot(C.T)
return bg
实际系统还会引入暗通道先验、光照一致性等约束来抑制伪影。但总体看，手工先验在场景复杂时泛化弱，这也是后来数据驱动方法取代它们的原因。
卷积神经网络如何端到端去掉雨条纹
深度模型把去雨看作从有雨图到无雨图的映射学习，不再显式拆层。最直观的是编码解码结构：编码器用多层卷积和下采样抽取特征，解码器上采样重建。为避免下采样丢细节，很多网络加入跳跃连接或采用扩张卷积保持分辨率。训练时直接用成对的雨图与干净图，以均方误差或感知损失监督。
另一类是注意力与多尺度方案。雨条纹有方向和尺度差异，单一卷积核难覆盖，于是网络在特征图上做通道或空间注意力，让模型聚焦雨区；或者并行几条不同感受野分支，再融合。下面给出一个极简的 PyTorch 风格编码器片段，说明卷积加残差的基本写法：
import torch
import torch.nn as nn
class SimpleDerainNet(nn.Module):
def __init__(self):
super().__init__()
self.enc = nn.Sequential(
nn.Conv2d(3, 32, 3, padding=1),
nn.ReLU(),
nn.Conv2d(32, 64, 3, padding=1),
nn.ReLU()
)
self.dec = nn.Conv2d(64, 3, 3, padding=1)
def forward(self, x):
# 残差学习：网络只学雨纹，输出加回输入
feat = self.enc(x)
rain = self.dec(feat)
return x - rain
model = SimpleDerainNet()
dummy = torch.randn(1, 3, 256, 256)
out = model(dummy)
print(out.shape)
这种残差学习比直接回归干净图更易收敛，因为雨纹能量远小于背景。训练损失常组合 L1 与对抗损失，提升视觉真实感。需要注意的是，真实拍摄的雨图往往没有完美标签，常用合成数据预训练再微调。
数据集选择与训练落地的实操建议
做单幅去雨先要选对数据。合成数据集如 Rain100L、Rain100H 用背景图叠加重力渲染的雨纹，适合入门；但它们和手机拍的斜雨、雾雨混合分布有域差。真实数据集如 SPA-Data 提供了成对采集的有雨无雨图，更贴近业务。建议先用合成集跑通流程，再用真实集微调，能明显缓解模型在线上发灰的问题。
训练细节上，输入尺寸不宜过小，128 以下会丢条纹结构；批量归一化在成对数据上可用，但推理时最好转成实例归一化减少色彩偏移。学习率用余弦退火比固定值更易收敛。下面是一段数据加载与损失组合的伪代码，展示常见配置：
import torch.nn.functional as F
def train_step(model, x_rain, x_clean, opt):
opt.zero_grad()
out = model(x_rain)
# 组合 L1 与 SSIM 损失
l1 = F.l1_loss(out, x_clean)
ssim_loss = 1 - ssim(out, x_clean)
loss = l1 + 0.2 * ssim_loss
loss.backward()
opt.step()
return loss.item()
# 假设 ssim 已实现，x_rain 与 x_clean 为同尺寸张量
部署时若算力有限，可以把大模型蒸馏到轻量网络，或用通道剪枝。去雨常作为前置模块接给检测识别，因此不仅要看 PSNR，还要测下游任务指标。只有端到端业务准确率上去了，才算去雨真正落地。
image_derainingrain_streak_removalconvolutional_neural_network修改时间：2026-08-18 02:14:32