3D高斯泼溅（3D Gaussian Splatting, 3DGS）以其高效的渲染速度和逼真的重建质量，成为近年来三维场景表示的热门方法。在3DGS中，场景由大量带有位置、协方差、不透明度和颜色属性的高斯点组成，其中颜色信息并非简单的RGB常量，而是通过球谐函数（Spherical Harmonics, SH）来编码视角相关的光照变化。当我们需要对场景进行纹理编辑时，例如改变物体表面的颜色或替换材质外观，直接操作高斯点的颜色与球谐系数是最直观也是最具挑战性的方式。这种方式允许我们在不重新训练整个场景的情况下快速修改局部外观，但同时也容易引入纹理扭曲、颜色突变和视角不一致等问题。理解球谐系数在高斯泼溅中的作用机制，以及如何设计合理的编辑策略，是成功实现3DGS纹理编辑的关键。
高斯点颜色与球谐系数的基础
在3D高斯泼溅中，每个高斯点存储的颜色信息并不是一个固定的RGB值，而是使用球谐函数来描述从不同观察方向看到的颜色变化。通常，系统会为每个高斯点分配一组球谐系数，其中零阶系数（DC分量）代表基础颜色，类似于漫反射分量；而高阶系数则编码了视角相关的反射和光泽效果。这种表示方式使得单个高斯点能够在一定程度上模拟复杂的材质属性，例如金属表面的高光或织物的各向异性反射。
球谐函数是定义在球面上的正交基函数，在图形学中常被用于压缩环境光照和反射数据。对于3DGS，每个颜色通道（R、G、B）都会有一组独立的球谐系数，常见的配置是使用三阶球谐（共16个系数）或四阶球谐（共25个系数）。在渲染时，根据当前视角方向计算出对应的球谐基函数值，然后将这些值与系数进行线性组合，得到该视角下的最终颜色。这意味着，如果我们直接修改零阶系数，就会均匀地改变所有视角下的基础颜色；而修改高阶系数，则会影响视角相关的颜色变化，例如高光的位置和强度。
理解这一机制对于纹理编辑至关重要。如果我们只是简单地修改高斯点的RGB值，实际上就是同时改变了所有球谐系数的某种混合，这往往会导致不自然的编辑效果。例如，当用户希望将物体表面刷成纯色时，如果不考虑高阶系数的影响，原本的高光特征可能会被破坏或产生异常的颜色偏移。因此，直接编辑高斯点颜色与球谐系数需要更精细的操作策略，比如调整零阶系数以改变基础色调，同时对高阶系数进行缩放或保留以维持材质特性。
直接编辑颜色与球谐系数的方法与挑战
直接编辑高斯点的颜色和球谐系数可以有多种实现方式。最简单的方法是选中需要编辑的高斯点，然后对其颜色属性进行全局的乘性或加性调整。例如，将所有选中点的零阶球谐系数替换为新的RGB值，同时保留其他高阶系数不变。这种操作在只改变漫反射颜色时效果较好，因为高阶系数仍然保持着原有的视角相关特性。然而，如果用户希望进行更复杂的编辑，例如改变材质类型或添加新的高光，则需要更精细地调整不同阶数的球谐系数。
一个常见的问题是纹理一致性。由于每个高斯点独立编码颜色，直接修改某一组高斯点的颜色可能会导致相邻高斯点之间出现颜色不连续，形成明显的块状或斑马纹。为了解决这个问题，可以在编辑过程中引入空间平滑约束，例如对相邻高斯点的颜色差异进行惩罚，或者使用基于图割或拉普拉斯扩散的优化方法。此外，视角依赖性的编辑会带来额外的挑战：当我们修改高阶球谐系数时，不同观察角度下的颜色变化可能非常剧烈，如果编辑不够精确，在动态渲染中很容易出现闪烁或颜色跳变。
另一种挑战来自球谐系数的数值范围。高阶球谐系数的绝对值通常较小，直接进行大幅修改可能会导致渲染颜色超出有效范围（例如超过[0,1]）。因此，在编辑时通常需要对系数进行归一化或裁剪处理。有些实现中会将球谐系数转换到对数空间或使用可微分的颜色映射来确保编辑后的颜色仍然在合理范围内。此外，编辑操作还应当是可逆的，以便用户可以随时撤销或微调。
为了验证编辑效果，可以借助渲染损失函数进行引导。例如，给定一张目标纹理的参考图像，我们可以通过梯度下降来调整选中高斯点的颜色和球谐系数，使得从多个视角渲染出的图像与参考图像尽可能接近。这种方法类似于微调（fine-tuning），但只更新颜色相关参数，保持高斯点的位置和协方差不变。这样既能够实现精确的纹理编辑，又不会破坏场景的几何结构。
import torch
import numpy as np
from gaussian_splatting import GaussianModel
def edit_gaussian_colors(model, mask, new_base_color):
"""
修改选中高斯点的零阶球谐系数（基础颜色），保持高阶系数不变。
Args:
model: 已加载的3D高斯模型
mask: 布尔张量，标记需要编辑的高斯点索引
new_base_color: 新的基础颜色，形状为(3,)，值在[0,1]之间
"""
# 获取球谐系数，形状通常为 (N, num_channels, num_sh_coeffs)
sh_features = model.get_features # 假设有该属性
# 零阶系数位于每个通道的第一个位置
sh_features[mask, :, 0] = torch.tensor(new_base_color, device=sh_features.device)
model.set_features(sh_features)
# 可以进一步更新优化器状态或重新计算缓存
print(f"已修改 {mask.sum().item()} 个高斯点的基础颜色。")
# 示例：加载场景并将所有高斯点的漫反射颜色改为暖黄色
# gaussian_model = GaussianModel(sh_degree=3)
# gaussian_model.load_ply("scene.ply")
# all_mask = torch.ones(gaussian_model.get_xyz.shape[0], dtype=torch.bool)
# edit_gaussian_colors(gaussian_model, all_mask, [0.9, 0.8, 0.6])
上述代码展示了如何直接修改零阶球谐系数来改变高斯点的漫反射颜色。在实际应用中，我们还需要考虑球谐系数的维度顺序，不同实现可能有所不同。通常球谐系数存储在形状为(N, 3, K)的张量中，其中N是高斯点数量，3表示RGB通道，K是球谐系数的总数（例如degree=3时K=16）。修改零阶系数相当于将每个通道的第一个系数替换为新颜色值。这个方法简单高效，适合快速调整场景的整体色调或局部区域的基色。
如果需要保留原有的光影变化，也可以对高阶系数进行缩放，而不是完全替换。例如，将高阶系数乘以一个小于1的因子可以减弱视角相关反射，而乘以大于1的因子则增强高光。这种编辑方式可以通过简单的张量运算实现，且不会破坏球谐系数的正交性。
优化驱动的交互式纹理编辑
对于更复杂的纹理编辑需求，例如将一张图片中的图案映射到3D场景的表面，单纯手动修改高斯点的颜色往往不够精确。此时可以采用优化驱动的方法：定义编辑目标为从一组参考视角渲染的图像与目标纹理图像之间的差异最小化，然后通过反向传播更新高斯点的颜色和球谐系数。这个过程可以利用PyTorch的自动微分实现，将渲染过程视为可微分的函数。
在实际操作中，我们需要固定高斯点的几何属性（位置、协方差、不透明度），只将颜色和球谐系数设置为可训练参数。然后选择多个视角，在这些视角下计算渲染图像与目标图像之间的L1或L2损失，并使用Adam等优化器迭代更新。由于球谐系数与视角相关，不同视角的损失梯度会引导系数向着能够同时满足多个视角一致性的方向更新，从而避免产生只在单一视角下正确的纹理。
这种方法的一个关键优势是可以处理视图相关的材质编辑。例如，如果希望在一个金属表面上添加新的高光，我们只需要在高光出现的视角下提供目标高光图像，优化器会自动调整高阶球谐系数来实现这一效果，而不需要手动指定每个高斯点的系数变化。然而，这种优化通常需要数分钟甚至更长时间才能收敛，因此更适合离线编辑或作为交互式编辑的后端计算。
为了避免优化过程中颜色系数的爆炸或退化，通常需要添加正则化项。常见的正则化包括限制球谐系数的L2范数、鼓励相邻高斯点颜色平滑的拉普拉斯正则化，以及保持原始高阶系数分布的先验项。这些约束能够显著提升编辑结果的视觉质量，减少纹理斑块和视角跳变。
import torch
from gaussian_splatting import render, GaussianModel
def optimize_texture(model, target_images, viewpoints, iterations=500, lr=0.01):
"""
通过优化球谐系数来匹配目标纹理图像。
Args:
model: 3D高斯模型
target_images: 目标图像列表，每个对应一个视角
viewpoints: 视角参数列表（相机内外参等）
"""
# 仅优化颜色相关参数
params = [model._features_color, model._features_sh]
for p in params:
p.requires_grad = True
optimizer = torch.optim.Adam(params, lr=lr)
loss_fn = torch.nn.L1Loss()
for it in range(iterations):
total_loss = 0.0
for target_img, vp in zip(target_images, viewpoints):
rendered_img = render(model, vp)
loss = loss_fn(rendered_img, target_img)
total_loss += loss
optimizer.zero_grad()
total_loss.backward()
optimizer.step()
if it % 50 == 0:
print(f"Iteration {it}, Loss: {total_loss.item():.4f}")
# 关闭梯度
for p in params:
p.requires_grad = False
print("纹理优化完成。")
上述优化流程展示了一个简化的纹理编辑示例。需要注意的是，渲染函数的可微分性至关重要，3D高斯泼溅的渲染过程目前已经有多个开源实现支持反向传播，例如官方实现和diff-gaussian-rasterization等。在优化过程中，我们可以只对部分高斯点进行编辑，通过掩码限制更新的范围，实现局部纹理替换。此外，为了加速收敛，可以使用更小的学习率并配合学习率衰减，避免颜色系数震荡。
实践中的注意事项与工具支持
在进行3DGS纹理编辑时，有几个工程细节需要特别留意。首先是数据格式的兼容性：不同版本的3DGS模型可能采用不同的球谐系数布局，例如有些将颜色和球谐系数合并存储，有些则分开。在进行编辑前，必须清楚地了解所加载模型的数据结构，并正确索引到需要修改的系数。其次，编辑后的模型需要保存为与原始格式一致的PLY文件，以便在原有渲染管线中使用。
另一个重要问题是性能优化。对于包含数百万个高斯点的场景，逐个修改系数虽然可行，但庞大的计算量可能影响交互性。通常可以利用GPU批量操作来加速，例如使用CUDA核函数或PyTorch的张量操作对整个掩码区域一次性更新。还可以结合空间数据结构（如八叉树或KD树）快速选中用户指定的区域，减少不必要的计算。
目前已有一些第三方工具和插件支持3DGS的编辑，例如SuperSplat、3DGS Editor等，它们提供了图形化界面来选择和调整高斯点的颜色属性。但这些工具大多仍处于开发阶段，功能有限。对于研究人员和开发者来说，掌握直接操作球谐系数的方法仍然是最灵活和有效的手段，可以通过脚本快速实现自定义的编辑算法，并集成到现有的3D内容生产流程中。
最后需要强调的是，直接编辑高斯点的颜色与球谐系数虽然快捷，但并不能完全替代重新训练。对于大幅度的外观变化或几何相关的材质编辑（例如改变物体形状后的纹理映射），重新训练或使用更高级的神经纹理表示可能更加合适。但在许多实际场景中，例如游戏开发、虚拟摄影或历史建筑可视化，局部纹理编辑的需求远多于全局重建，此时3DGS的直接编辑方法能够大幅降低时间和计算成本。