用扩散模型或者GAN生成一张大场景图片，常常会遇到一个尴尬的问题：草地像复制粘贴出来的，砖墙的纹路每隔一段就重复一次，水面的波纹呈现出明显的周期性格子。这种重复模式（repetition pattern）会让画面一眼看上去就假，即使整体构图和光影都没问题。要解决它，需要从损失函数和采样过程两个方向同时入手，也就是纹理多样性损失配合随机种子的精细控制。
重复模式到底是怎么产生的
重复模式本质上是一种特征层面的自相似性过高。生成网络在卷积过程中，感受野是有限的，当图片中存在大面积同质区域（比如一整片草地）时，网络倾向于在这些区域输出统计特性几乎一致的特征图。对扩散模型来说，问题出在去噪的早期阶段：初始噪声如果某些频段的能量分布过于均匀，去噪过程会沿着这个方向收敛，最终在空间域上表现为周期性重复。
另一个来源是上采样操作。生成器中的转置卷积或者上采样+卷积的组合，都带有棋盘效应的隐患。即使棋盘效应本身被缓解了，上采样带来的网格对齐特性依然会让纹理单元按照固定的空间间隔出现，因为网络在每个上采样格点上做的计算是几乎相同的。理解了这两个来源，就能明白为什么单纯换模型或者加提示词往往没用，问题出在结构层面而不是语义层面。
还有一个容易被忽视的因素是训练数据本身的偏差。如果训练集中草地图片大多来自同一个数据源，纹理样式高度单一，模型学到的就是这个单一分布，生成时自然只会复读。这种情况下，推理阶段的调节只能缓解，根治需要在训练阶段引入多样性约束。
纹理多样性损失的设计与实现
纹理多样性损失的核心思路是惩罚特征图内部的空间自相似性。常用的做法有三种：Gram矩阵差异约束、自相似性惩罚和频域正则项。Gram矩阵刻画的是特征通道之间的统计相关性，经典的风格迁移就用它来提取纹理。如果对图片不同的局部区域分别计算Gram矩阵，这些Gram矩阵之间的差异越大，说明纹理在空间上越丰富，越不重复。
自相似性惩罚则更直接：把特征图切成若干小块，计算所有块两两之间的余弦相似度，对相似度过高的块对施加惩罚。这种方式计算量较大，但约束最精确，适合训练阶段使用。频域正则项是从另一个角度看问题，重复模式在频谱上表现为特定频率的尖峰，对图片做FFT之后惩罚频谱中过强的离散峰值，能有效压制周期性纹理。
下面给出一个综合了自相似性惩罚和频域正则的实现示例，基于PyTorch，可以直接嵌入训练循环：
import torch
import torch.nn.functional as F
def texture_diversity_loss(feat, patch_size=8):
"""基于局部块自相似性的纹理多样性损失
feat: 形状为 [B, C, H, W] 的特征图
"""
B, C, H, W = feat.shape
# 重排为局部块: [B, num_patches, C*patch*patch]
patches = F.unfold(feat, kernel_size=patch_size, stride=patch_size)
patches = patches.view(B, C * patch_size * patch_size, -1)
patches = patches.permute(0, 2, 1) # [B, N, D]
# L2 归一化后计算块间余弦相似度
patches = F.normalize(patches, dim=-1)
sim = torch.bmm(patches, patches.transpose(1, 2)) # [B, N, N]
# 去掉对角线的自相似，惩罚过高的相似度
eye = torch.eye(sim.size(1), device=feat.device).unsqueeze(0)
sim = sim * (1 - eye)
# 只惩罚超过阈值的相似对，保留合理的结构相似
excess = F.relu(sim.abs() - 0.85)
return excess.mean()
def spectral_peak_loss(img):
"""频域正则项：惩罚频谱中的离散尖峰，抑制周期性重复"""
# img: [B, C, H, W]，取灰度通道简化计算
gray = img.mean(dim=1, keepdim=True).squeeze(1)
spec = torch.fft.fft2(gray)
spec = torch.fft.fftshift(spec)
mag = spec.abs()
# 用均值池化得到局部平均幅度，惩罚远高于邻域的尖峰
local_avg = F.avg_pool2d(mag.unsqueeze(1), 7, stride=1, padding=3).squeeze(1)
peaks = F.relu(mag - local_avg * 3.0)
# 排除直流分量附近的低频区域
mask = torch.ones_like(mag)
c = mag.size(-1) // 2
mask[..., c-5:c+5, c-5:c+5] = 0
return (peaks * mask).mean()
# 训练循环中的组合方式
# total_loss = recon_loss + 0.5 * texture_diversity_loss(feat_map) + 0.2 * spectral_peak_loss(fake_img)
使用时有几个注意点。权重的设置很关键，纹理多样性损失的权重过大会导致结构崩坏，主体形状都保不住，一般从0.3到0.5起步观察效果。自相似性惩罚中的阈值0.85不是定死的，纹理类型越细腻，阈值应该适当调高，给自然的相似留出空间。频域正则项排除中心低频区域的mask宽度也要根据图片分辨率调整，分辨率越大，低频区域的像素范围越大。
随机种子的调节策略
如果说损失函数是训练阶段的手段，随机种子就是推理阶段最直接可控的杠杆。扩散模型从纯噪声开始去噪，初始噪声由随机种子决定，不同的seed会生成统计特性不同的噪声场。经验上，某些seed值确实更容易出现重复纹理，尤其是那些噪声频谱本身就有较强周期性分量的种子。遇到重复模式严重的结果时，最简单的做法就是换几个seed试试，成本极低但常常有效。
更进阶的做法是分阶段控制种子。很多推理框架支持在去噪过程的中途切换或者扰动噪声，比如在前30%的步数用seed A保证整体构图，后续步数注入基于seed B的弱噪声扰动，这样主体结构稳定而纹理层面的随机性增加。用diffusers库的写法大致如下：
import torch
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained(
"runwayml/stable-diffusion-v1-5", torch_dtype=torch.float16
).to("cuda")
prompt = "a wide grassland at sunset, highly detailed"
# 基础生成：固定种子保证构图可复现
base_seed = 42
generator = torch.Generator("cuda").manual_seed(base_seed)
img = pipe(prompt, num_inference_steps=30, generator=generator).images[0]
# 纹理仍重复时，批量尝试多个种子，挑纹理最自然的一张
for seed in [1024, 7, 555, 8888, 31415]:
g = torch.Generator("cuda").manual_seed(seed)
img = pipe(prompt, num_inference_steps=30, generator=g).images[0]
img.save(f"out_seed_{seed}.png")
批量尝试种子时，如何自动判断哪张重复最轻？可以把前面的频域尖峰检测搬到推理侧做评分：对生成图片计算频谱峰值强度，分数越低说明周期性越弱，纹理越自然。这样就能实现自动化的种子筛选流程，而不是靠人眼一张张看。另外要注意， ControlNet 这类结构控制插件会放大重复倾向，因为控制信号本身的空间周期性会传导到生成结果，此时更需要配合种子扰动和强度衰减（control strength适当调低到0.5以下）来缓解。
总结与实操建议
重复模式是生成模型的结构性问题，单靠一个手段很难彻底消除，最可靠的方案是训练侧的纹理多样性损失加上推理侧的种子策略组合使用。如果是使用现成模型做推理，优先尝试批量种子加频域自动评分筛选，几乎零成本；如果需要微调或训练自己的模型，把自相似性惩罚和频域正则项加进损失函数，通常几个epoch就能看到纹理明显更松散自然。调参时记住一个原则：多样性的引入必须以主体结构稳定为边界，一旦发现构图开始漂移或者物体变形，说明约束权重过头了，往回收一收再试。