AI生成3D模型时，颜色贴图、金属度贴图和粗糙度贴图经常出现边缘发虚、表面细节糊成一片的现象。即使把纹理从512×512提升到2048×2048，只要生成网络没有对高频信息进行显式约束，渲染结果依然会缺少材质应有的颗粒感、划痕和织物纹理。这类问题在近景特写、影视级资产和游戏角色皮肤中尤其突出。因此，纹理修复需要同时推进两条线：一是纹理超分辨率，提高像素总量与结构清晰度；二是高频细节增强，恢复表面微细节和视觉真实感。本文从模糊成因、网络设计和实际调优三个层面展开。
一、为什么AI生成纹理会模糊：低频偏好与潜在空间压缩
纹理模糊并不是简单的分辨率不足。生成模型在训练时最常使用的 L1 损失或 MSE 损失，会引导网络输出所有可能纹理的平均结果。对于同一种木质表面，不同光照和观测角度下的纹理差异可能很大，像素级损失期望得到一个平滑、折中的预测，因此边缘和细小划痕首当其冲被磨平。模型学到的低频结构没有问题，但高频残差被损失函数天然抑制。
另一个原因来自潜在空间压缩。扩散模型和变分自编码器通常会在较低维度的 latent 空间进行去噪或重建，这样可以显著降低显存占用和训练难度，但低维表示会天然丢弃一部分高频分量。解码器后续通过转置卷积或插值上采样，虽然能将特征图放大到目标尺寸，却无法凭空恢复已经被压缩掉的信息，反而可能引入过度平滑或棋盘状伪影。纹理生成尤其依赖高频信息，因此这个瓶颈比自然图像更明显。
数据侧的问题同样不可忽视。很多公开 3D 模型附带的贴图经历过多次压缩，或者原始扫描分辨率有限，再加上颜色贴图与法线贴图没有严格对齐，模型很难从低质监督信号中学会锐利细节。因此，单纯增大输出尺寸并不能解决模糊，需要把超分和细节增强纳入管线。
二、纹理超分辨率：从低清纹理到高清纹理的技术路线
纹理超分辨率的目标是在不改变 UV 布局的前提下，把低分辨率贴图放大为高分辨率贴图，并尽量恢复清晰结构和真实高频。早期方法如 ESRGAN 使用 RRDB 残差块、感知损失和对抗损失，能够比传统双三次插值保留更多边缘信息。对于 3D 纹理任务，可以直接加载 Real-ESRGAN 等预训练模型做初步放大，再使用自有纹理数据微调，使网络适应金属、皮肤、布料等特定材质。
扩散模型超分是另一种路线。将低清纹理作为条件，在高分辨率潜空间逐步去噪，可以生成更自然、更多样的细节。但扩散过程存在随机性，如果不同 UV 块分别生成，容易造成接缝处不连续。因此使用时需要固定随机种子，或者增加 UV 边缘一致性约束，避免贴图展开后出现可见缝线。
损失函数是纹理超分的关键。像素损失会让结果偏平滑，感知损失能恢复语义结构，但还不足以处理高频材质。频域损失可以直接约束频谱，尤其对织物纹理、毛孔和划痕有效。下面是一个在 PyTorch 中实现频域加权的示例：
import torch
import torch.nn as nn
import torch.fft
class FrequencyLoss(nn.Module):
def __init__(self, high_freq_weight=2.0):
super().__init__()
self.high_freq_weight = high_freq_weight
def forward(self, pred, target):
pred_fft = torch.fft.fft2(pred)
target_fft = torch.fft.fft2(target)
diff = torch.abs(pred_fft - target_fft)
weight = torch.ones_like(diff)
h, w = diff.shape[-2:]
weight[:, :, h // 4: 3 * h // 4, w // 4: 3 * w // 4] = self.high_freq_weight
return torch.mean(weight * diff)
该损失将频谱中心区域之外的高频部分权重加大，迫使模型在训练时更重视细节重建。实际使用中，可以将频域损失与 L1 损失、感知损失按比例组合。比例需要根据材质调整，例如皮肤纹理更依赖感知损失，工业金属则更依赖频域损失。
三、高频细节增强：残差提取、贴图联合与可控合成
即使超分后的纹理分辨率已经足够高，表面仍可能显得光滑、缺少真实磨损。此时可以采用高频残差增强思路：将图像分解为低频基础层和高频细节层，对高频层加权后重新叠加。这样做能增强划痕、颗粒、织物纹理等微观几何带来的明暗变化，同时不会破坏整体色彩结构。
下面是一个基于高斯滤波的高频增强示例，适用于快速处理颜色贴图：
from PIL import Image
import numpy as np
from scipy.ndimage import gaussian_filter
def enhance_high_frequency(image_path, strength=0.6):
img = Image.open(image_path).convert("RGB")
arr = np.asarray(img, dtype=np.float32) / 255.0
low_freq = gaussian_filter(arr, sigma=(2, 2, 0))
high_freq = arr - low_freq
enhanced = np.clip(arr + strength * high_freq, 0.0, 1.0)
return Image.fromarray((enhanced * 255).astype(np.uint8))
对于追求物理真实感的资产，不能只处理颜色贴图。法线贴图和置换贴图存储了大量表面起伏信息，对高频细节的贡献远超颜色贴图。实践中可以先增强法线贴图，再用增强后的法线引导颜色贴图微调，或者使用可微分渲染器联合优化，让颜色、法线和置换贴图在高频区域保持一致。如果三者不一致，渲染时会出现光照错误，反而降低真实感。
可控合成方法也常被用于补充高频细节。借助 ControlNet 或 Stable Diffusion 等模型，以边缘图、法线图或深度图作为条件，在局部区域生成划痕、锈蚀或织物纹理。使用时应开启 tile 模式或对称处理，以降低 UV 接缝风险。生成结果仍需通过传统残差融合回原始贴图，避免大面积改变材质色相。
四、落地工作流与调优建议
一个稳定的纹理增强工作流通常包含四步：低清纹理预处理、超分辨率放大、高频残差增强、渲染验证。预处理阶段需要统一色彩空间，去除压缩噪点，并确认 UV 展开无重叠。超分阶段先输出 2 倍或 4 倍分辨率，再根据目标平台决定是否降回 2048 或 4096。高频增强阶段控制强度参数，颜色贴图的增强量一般低于法线贴图。
评估时不要只依赖 PSNR 和 SSIM。对于纹理细节，这类像素指标往往会偏好平滑结果。更好的做法是使用 LPIPS、FID 等感知指标，并将纹理贴回模型后在不同光照、不同距离下渲染截图，检查近景是否锐利、远景是否出现摩尔纹或闪烁。尤其要检查 UV 接缝处和曲面曲率大的区域，这些位置最容易暴露细节不连续。
最后是根据目标平台做性能取舍。实时渲染资产通常使用 2048 分辨率，并在纹理压缩时保留法线贴图的高频通道。影视级近景资产可以提高到 4096 甚至更高，但需要配合 mipmap 和显存预算。无论哪种平台，模糊问题的解决都不能只靠提高分辨率，而要从频域约束、贴图联合优化和渲染验证三个维度共同推进，才能得到稳定、锐利且物理合理的 3D 纹理。