ESRGAN是2018年由Xintao Wang等人提出的图像超分辨率算法，全称为Enhanced Super-Resolution Generative Adversarial Networks，可以看作是SRGAN的全面升级版。它在PIRM2018超分辨率挑战赛中夺得第一名，凭借更真实的纹理重建效果成为业界广泛使用的超分方案。相比SRGAN那种偏向平滑、观感模糊的结果，ESRGAN恢复出的图像纹理清晰锐利，细节丰富，被大量应用于老照片修复、视频增强、动漫图像高清化等场景。本文将从网络结构、损失函数、代码实现和实际应用几个方面，系统讲解ESRGAN的技术要点。
一、ESRGAN的核心改进：从SRGAN说起
要理解ESRGAN，先要知道SRGAN存在哪些不足。SRGAN采用残差块堆叠的生成器结构，每个残差块中包含批归一化层（Batch Normalization）。实验发现，BN层在超分任务中会带来明显的伪影，尤其当训练集和测试集的统计分布差异较大时，生成图像上会出现不自然的痕迹。此外，SRGAN的判别器只判断一张图是真实还是伪造，这种标准GAN损失在训练后期容易导致梯度不稳定，生成效果难以进一步提升。
针对这些问题，ESRGAN做了三处关键改动。第一，生成器移除了全部BN层，并将基础单元换成没有任何归一化的RRDB（Residual-in-Residual Dense Block）模块，信息流动更充分，也彻底规避了BN伪影。第二，改进感知损失，不再使用SRGAN中VGG网络激活后的特征，而是改用激活前的特征，这样重建出的图像亮度更准确，边缘更锐利。第三，判别器从标准判别器换成相对判别器（Relativistic Discriminator），让生成器和判别器在博弈中互相约束，训练更稳定。
这三项改动看似简单，但组合起来效果提升显著。在相同放大倍数下，ESRGAN生成的图像在纹理丰富度上明显优于SRGAN，例如砖墙的纹路、树叶的脉络、人物发丝等细节都能更自然地呈现出来。
二、RRDB网络结构的实现细节
RRDB是ESRGAN生成器的灵魂。它借鉴了DenseNet的密集连接思想，在一个残差块内部，每一层的输出都会与前面所有层的特征拼接后作为下一层的输入，让浅层特征可以直达深层。ESRGAN进一步把多个密集块用残差方式串联起来，形成所谓的残差套残差结构，这也是名字中Residual-in-Residual的由来。
具体来看，一个RRDB由三个密集块组成，每个密集块包含5个卷积层，卷积核大小为3x3，特征通道数为64，增长率为32。密集块之间以及RRDB之间都有残差连接，并用一个缩放系数beta（论文中取0.2）来控制残差分支的贡献，防止训练初期梯度爆炸。生成器主干通常由23个RRDB堆叠，再通过上采样模块和卷积层输出最终的高分辨率图像。上采样采用最近邻插值加卷积的组合，而不是反卷积，可以有效避免棋盘效应。
用PyTorch实现一个简化版的RRDB结构，代码如下：
import torch
import torch.nn as nn
import torch.nn.functional as F
# 密集块：5个卷积层，密集连接
class DenseBlock(nn.Module):
def __init__(self, nf=64, gc=32):
super().__init__()
self.conv1 = nn.Conv2d(nf, gc, 3, 1, 1)
self.conv2 = nn.Conv2d(nf + gc, gc, 3, 1, 1)
self.conv3 = nn.Conv2d(nf + 2 * gc, gc, 3, 1, 1)
self.conv4 = nn.Conv2d(nf + 3 * gc, gc, 3, 1, 1)
self.conv5 = nn.Conv2d(nf + 4 * gc, nf, 3, 1, 1)
self.lrelu = nn.LeakyReLU(0.2, inplace=True)
def forward(self, x):
x1 = self.lrelu(self.conv1(x))
x2 = self.lrelu(self.conv2(torch.cat((x, x1), 1)))
x3 = self.lrelu(self.conv3(torch.cat((x, x1, x2), 1)))
x4 = self.lrelu(self.conv4(torch.cat((x, x1, x2, x3), 1)))
x5 = self.conv5(torch.cat((x, x1, x2, x3, x4), 1))
return x5 * 0.2 + x # 残差缩放，beta=0.2
# RRDB：三个密集块串联，外层再做残差
class RRDB(nn.Module):
def __init__(self, nf=64, gc=32):
super().__init__()
self.rdb1 = DenseBlock(nf, gc)
self.rdb2 = DenseBlock(nf, gc)
self.rdb3 = DenseBlock(nf, gc)
def forward(self, x):
out = self.rdb1(x)
out = self.rdb2(out)
out = self.rdb3(out)
return out * 0.2 + x这段代码完整还原了论文中的结构设计。值得注意的是，整个网络没有任何BN层，卷积之间只用LeakyReLU激活，负斜率设为0.2。密集连接虽然提升了表现力，但也带来显存占用偏高的问题，训练4倍放大模型时单卡显存最好在11GB以上，如果资源有限，可以减少RRDB的数量或者降低通道数来换取训练可行性。
三、损失函数设计与训练技巧
ESRGAN的损失函数由三部分组成，分别是内容损失、对抗损失和感知损失的改进版本。生成器的总损失可以表示为感知损失与对抗损失的加权和。感知损失方面，ESRGAN计算生成图像和真实图像在VGG19网络中激活前特征（pre-activation features）的L1距离。为什么选激活前特征？因为激活操作会截断负值，导致特征分布偏向非负区间，重建图像容易出现亮度偏移和过度平滑；而激活前的特征保留了完整的数值范围，监督信号更准确。
对抗损失部分引入了相对判别器RaD。标准判别器估计输入图像为真实图像的概率，而相对判别器估计真实图像比伪造图像更真实的概率。这个改动让生成器在训练时不仅学习让假图看起来真，还要学习让真图和假图的差异分布更合理，训练曲线明显更平稳。用公式描述，判别器输出经过sigmoid前的 logits，真实样本的相对值用D(xr)减去伪造样本logits的均值来计算。
此外，作者还提出了网络插值的小技巧：先训练一个纯PSNR导向的网络，再训练一个GAN网络，然后把两者的权重按比例插值，可以在无伪影和真实感之间自由调节，而无需重新训练。这个技巧非常实用，尤其适合对 artifacts 敏感的生产环境。实现上只需对两份权重张量做线性加权即可：
def interpolate_weights(psnr_model, gan_model, alpha=0.5):
"""网络插值：在PSNR模型和GAN模型之间做权重线性插值"""
interp = {}
for (k1, v1), (k2, v2) in zip(psnr_model.items(), gan_model.items()):
interp[k1] = alpha * v1 + (1 - alpha) * v2
return interp训练数据方面，ESRGAN使用DIV2K数据集，包含800张高质量2K分辨率图像，训练时随机裁剪低分辨率输入块并配合图像翻转、旋转等数据增强手段。学习率初始设为0.0001，每20万次迭代衰减一半，训练迭代次数通常需要数十万次才能收敛到位。
四、实际应用与推理实践
落地使用ESRGAN并不一定要自己从头训练。官方提供了多个预训练模型，包括不同放大倍数的版本，还有针对动漫图像优化的变种，比如后来社区广为流传的Real-ESRGAN就是在其基础上对真实世界降质建模的进一步增强。推理阶段可以直接加载权重，对任意输入图像做超分重建。
下面是一个简单的推理示例，展示如何加载预训练的ESRGAN生成器并放大图像：
import cv2
import numpy as np
def infer(model, img_path, device):
model.eval()
img = cv2.imread(img_path).astype(np.float32) / 255.0
img = torch.from_numpy(img).permute(2, 0, 1).unsqueeze(0).to(device)
with torch.no_grad():
# 大图可分块推理，避免显存溢出
output = model(img)
out = output.squeeze(0).permute(1, 2, 0).cpu().numpy()
out = (out * 255).clip(0, 255).astype(np.uint8)
return out实际部署时有几点经验值得注意。第一，输入大尺寸图像时要分块推理并做边缘重叠拼接，否则显存很容易被吃满，重叠区域一般取32到64像素，用渐变权重融合可消除拼接痕迹。第二，ESRGAN对输入图像的压缩伪影比较敏感，如果源图噪声大，可以先做轻度去噪再超分，效果会好很多。第三，PSNR等客观指标不能完全反映ESRGAN的优势，它追求的是人眼感知质量，在LPIPS等感知指标上表现更突出，评估时要选对指标。
从应用场景看，ESRGAN非常适合老照片修复、游戏贴图增强、漫画扫描件高清化等对纹理真实感要求高的任务。如果目标场景是监控视频、医学影像等对准确性要求严格的领域，则建议使用插值后的PSNR导向权重，或者干脆选择纯卷积的超分方案，避免GAN生成不存在的细节带来的误导。
总的来说，ESRGAN通过结构、损失、判别器三方面的协同改进，把生成对抗网络在超分任务上的潜力真正释放了出来。它奠定的RRDB结构和训练范式被后续大量工作继承，包括Real-ESRGAN、SwingSRGAN等改进版本。掌握ESRGAN的原理和实现，不仅能够直接解决图像放大的工程问题，也是理解现代生成式超分技术的重要基础。