在3D生成任务里引入LoRA，本质上是把风格适配从全参数重训练变成低秩矩阵的旁路学习。3D生成器通常包含多视图扩散、特征聚合与网格重建几个阶段，如果直接对全部参数做梯度更新，几十张风格图很难覆盖模型原有的物体形状与材质先验，极易出现几何畸变或多视图撕裂。LoRA只修改注意力层的权重增量，冻结主干网络，这让微调可以在消费级显卡上完成，也能保留原始模型的泛化能力。
实际项目里，更常见的做法是把LoRA加在2D多视图扩散模型上，而不是直接训练3D backbone。原因是2D扩散模型已经具备强大的图像先验，LoRA只需要学习风格相关的纹理、光照和线条特征；随后把这些风格化多视图交给现成的重建器，如TripoSR或Zero123++，就能得到风格稳定的3D资产。这个混合管线对数据量的要求更低，通常20到50张风格样本就可以开始实验。
一、LoRA作用在3D生成模型上的位置
3D生成模型虽然结构复杂，但大多数仍以Transformer或UNet作为骨干。无论模型最终输出的是三平面、3D高斯还是隐式场，其生成阶段都离不开注意力层对图像特征的建模。LoRA的切入点正是这些注意力层的查询、键、值投影矩阵。假设原始权重为W，LoRA不直接更新W，而是学习两个小矩阵A和B，使增量表示为W加BA。A的维度通常是hidden_size乘rank，B是rank乘hidden_size，rank取16或32时，可训练参数量不到主模型的百分之一。
对于多视图扩散模型，LoRA通常配置到UNet或DiT的交叉注意力与自注意力模块。文本编码器是否微调则要根据风格类型决定。如果风格主要是材质和色彩变化，只调UNet即可；如果风格涉及特定构图、物体类别或画风与文字描述强关联，同时给文本编码器加上低秩适配会带来更好的一致性。冻结文本编码器可以降低过拟合风险，但风格触发词需要更精确的提示词。
与全参微调相比，LoRA的另一个优势是灾难遗忘更轻。3D模型的全参微调在少量样本下容易把形状、视角、光照等先验一起冲掉，结果可能是风格对了但几何崩坏。LoRA的低秩约束天然限制了更新幅度，因此即使训练后期出现轻微过拟合，也只会集中在颜色和纹理层，不会轻易破坏空间结构。这使得LoRA成为少量风格样本场景下非常合适的微调方案。
二、数据准备：如何组织少量风格样本
风格样本的质量直接决定LoRA训练的上限。少量样本训练时，应优先选择风格一致、构图多样、主体清晰的图片。数量方面，20到50张可以作为起始集，如果风格跨度大，比如同时包含复杂机械和有机生物，可以适当增加到80张。每张图片建议裁剪为正方形，分辨率不低于512像素，并统一背景。背景噪声对3D生成影响很大，因为后续多视图扩散会把这些噪声误认为风格的一部分。
标注策略同样重要。使用BLIP或CogVLM等视觉语言模型自动打标时，要把风格词加入所有文本，例如统一使用某风格触发词加主体描述。推荐采用自然语言描述而不是逗号分隔的标签堆砌，因为3D生成器对完整句子的理解更好。训练数据可以组织成JSONL格式，每行包含图片路径和文本描述。以下脚本演示了如何将一批风格图转换为训练集清单。
import os
import json
from PIL import Image
image_dir = "dataset/style_images"
output_file = "train_metadata.jsonl"
trigger_word = "stylized_sculpt"
entries = []
for name in sorted(os.listdir(image_dir)):
if not name.lower().endswith((".png", ".jpg", ".jpeg", ".webp")):
continue
path = os.path.join(image_dir, name)
img = Image.open(path).convert("RGB")
width, height = img.size
if width != height:
side = min(width, height)
left = (width - side) // 2
top = (height - side) // 2
img = img.crop((left, top, left + side, top + side))
img.save(path)
caption = f"{trigger_word}, a detailed 3D asset with clean geometry and uniform material"
entries.append({"image": path, "text": caption})
with open(output_file, "w", encoding="utf-8") as f:
for item in entries:
f.write(json.dumps(item, ensure_ascii=False) + "\n")
print(f"total samples: {len(entries)}")
如果手上没有足够的3D资产，也可以先用已有风格图训练2D LoRA，再通过生成多视图来扩展数据。例如从不同视角渲染一个基础网格，将风格图作为img2img的参考，生成一批风格化视图，再把这些视图加入训练集。这种方式能提升多视图一致性，但要注意生成结果中的伪影会被模型再次学习，因此需要人工筛选一轮。
三、LoRA训练脚本的关键实现
下面这段代码基于diffusers和peft库，展示如何对Stable Diffusion的UNet添加LoRA并执行训练。基础模型可以替换成Flux或其他多视图扩散结构，核心步骤一致：加载基础模型，冻结全部参数，通过LoraConfig指定低秩矩阵的秩、缩放系数和目标模块，然后仅优化LoRA参数。
import torch
from diffusers import StableDiffusionPipeline
from peft import LoraConfig, get_peft_model
from torch.utils.data import DataLoader
device = "cuda"
model_id = "stabilityai/stable-diffusion-2-1-base"
pipeline = StableDiffusionPipeline.from_pretrained(model_id).to(device)
unet = pipeline.unet
text_encoder = pipeline.text_encoder
unet.requires_grad_(False)
text_encoder.requires_grad_(False)
lora_config = LoraConfig(
r=32,
lora_alpha=32,
target_modules=["to_q", "to_k", "to_v", "to_out.0"],
lora_dropout=0.05,
)
unet_lora = get_peft_model(unet, lora_config)
unet_lora.print_trainable_parameters()
optimizer = torch.optim.AdamW(unet_lora.parameters(), lr=1e-4)
num_epochs = 20
for epoch in range(num_epochs):
for batch in dataloader:
images = batch["pixel_values"].to(device)
prompts = batch["text"]
noise = torch.randn(images.shape).to(device)
timesteps = torch.randint(0, 1000, (images.shape[0],), device=device).long()
noisy_images = pipeline.scheduler.add_noise(images, noise, timesteps)
model_pred = unet_lora(noisy_images, timesteps, encoder_hidden_states=prompts).sample
loss = torch.nn.functional.mse_loss(model_pred, noise)
loss.backward()
optimizer.step()
optimizer.zero_grad()
unet_lora.save_pretrained("lora_style_3d")
训练时需要特别关注梯度累积和混合精度。显存不足时可以把batch size设为1，累积4步再更新一次。LoRA的rank值并不是越大越好，对于风格迁移任务，rank在16到32之间通常能取得纹理细节与泛化能力的平衡。lora_dropout可以设置为0.05到0.1，防止少量样本下注意力层过度依赖固定模式。
如果目标是多视图生成模型，例如Zero123++或TRELLIS，训练目标不再只预测噪声，而可能是视角条件图像或视频帧。此时需要把数据集的视角标签编码进模型输入，并在损失计算中对不同视角赋予相同权重。多视图训练的显存压力更大，建议使用gradient checkpointing，并在训练前用单卡做小步验证。
四、风格化多视图生成与3D重建
训练完成后，加载LoRA权重生成多视图序列是风格化3D资产产出的关键一步。为保持几何一致性，同一个物体在不同视角下的生成条件应保持统一，包括提示词、随机种子、CFG强度以及LoRA缩放系数。如果LoRA强度过高，生成视图之间容易在边缘和纹理上出现不一致；如果过低，风格特征又不够明显。可以先以0.6到0.8的alpha系数进行多次测试。
以下代码演示了加载LoRA后的多视图生成流程。这里使用相同的底座提示词，只改变视角标签，并固定随机种子，使多个视图能描述同一几何体。
import torch
from diffusers import StableDiffusionPipeline
device = "cuda"
pipe = StableDiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-2-1-base"
).to(device)
pipe.unet.load_attn_procs("lora_style_3d")
views = ["front view", "right view", "back view", "left view"]
prompt_template = "stylized_sculpt, a detailed 3D asset with clean geometry, {view}"
seed = 20240701
generator = torch.Generator(device).manual_seed(seed)
for i, view in enumerate(views):
prompt = prompt_template.format(view=view)
image = pipe(
prompt,
num_inference_steps=40,
guidance_scale=7.0,
cross_attention_kwargs={"scale": 0.7},
generator=generator,
).images[0]
image.save(f"views/view_{i}.png")
得到多视图后，可以接入TripoSR、LGM或TRELLIS等重建器生成网格。重建阶段不需要LoRA，重点在于保证多视图之间目标大小、朝向和光照条件一致。如果自动重建出的纹理偏淡，可以在重建前降低生成图的曝光和对比度，或者在重建器后处理阶段增强纹理。
五、调参建议与常见问题
少量样本LoRA微调最常见的问题是风格泄漏和形状损坏。风格泄漏表现为所有生成结果都带有训练样本中的特定背景色或物体轮廓，这通常是因为训练图背景未做统一，或者训练步数过多。解决方法是增加背景裁剪与清洗，降低学习率，并提前保存多个checkpoint进行横向比较。形状损坏则多发生在直接对3D backbone做LoRA时，建议回退到2D多视图扩散加重建的混合管线，避免让低秩更新进入几何分支。
另一个高频问题是多视图色彩不连续。即使同一提示词生成的四张视图，也可能因为注意力随机性出现色差。可以从三个方向缓解：固定随机种子、使用ControlNet约束边缘、在重建前对四张图做简单的色彩匹配。色彩匹配可以统计每张图的均值和标准差，并以第一张图为参考进行线性调整。
学习率与训练轮数的建议值需要根据数据量调整。20到50张样本时，UNet LoRA的学习率可以设在1e-4到2e-4，训练15到25个epoch通常足够。多视图模型的学习率应适当降低到5e-5以下，训练轮数控制在10轮左右。最终判断标准不是训练损失越低越好，而是生成多视图的风格一致性与重建网格的几何完整性，因此在每轮训练后进行推理验证比只看损失曲线更有意义。