DreamBooth是微调文生图模型的经典方案，只需要三五张目标物体的照片，就能让Stable Diffusion学会生成特定的宠物、手办或商品。但很多人在实战中会碰到一个尴尬的问题：训练完成后，模型确实能生成目标物体了，可当你输入一个完全无关的提示词，比如想生成一张普通的狗的图片时，输出的画面里依然全是训练集中的那只狗，姿态、背景、构图都高度雷同。这就是典型的过拟合——模型不仅记住了目标物体，还把原有的类别先验知识冲刷掉了。本文将从原理、正则化策略和参数调优三个层面，给出系统的解决方案。
一、DreamBooth为什么会过拟合：从损失函数说起
DreamBooth的核心思路是在极少量图像（通常3到10张）上对预训练扩散模型做全量微调。全量微调意味着每一层权重都会被更新，而训练样本又极少，这种极不对称的数据规模天然就埋下了过拟合的隐患。模型在几十步之内就能把这几张图的细节完全记住，继续训练时梯度更新的方向就开始破坏模型原本学到的类别知识分布。
从数学角度看，纯微调阶段模型只优化一项重建损失。以Stable Diffusion为例，训练目标是让UNet在给定目标物体照片和罕见标识符（如sks dog）的条件下，准确预测加入的噪声。由于训练样本极少，模型可以轻松把损失压到很低，此时它学到的不是"什么是狗"，而是"这几张图长什么样"。一旦这种情况发生，模型对整个dog类别的先验分布就被覆盖了，生成任何狗的提示词都会被拉向训练样本。
具体表现有三种。第一种是提示词失效，不管输入什么都输出训练集的近似复制品；第二种是输出多样性坍缩，同一提示词采样多次结果高度雷同；第三种是画面质量下降，出现纹理混乱、肢体畸变等退化现象。判断方法很简单：训练中途每隔100步用固定随机种子生成一批与训练集无关的图像，如果质量随步数增加明显劣化，就说明过拟合已经开始了。
二、先验保持损失：正则化的核心武器
针对上述问题，DreamBooth原论文提出了先验保持损失（Prior Preservation Loss）。它的思路非常直观：既然微调会让模型遗忘类别知识，那就一边教它新物体，一边强迫它保持旧的类别能力。
具体做法是先准备一组正则化图像。这些图像不是手工收集的，而是用微调前的原始模型自己生成的类别样本，例如用原始Stable Diffusion批量生成几百张a dog的图像。训练时，每个批次中混合目标图像和正则化图像，损失函数变成两项之和：
import torch # DreamBooth 损失示意（伪代码） # instance 分支：目标物体 + 罕见标识符 instance_pred = unet(instance_noisy_latents, t, instance_prompt_emb).sample loss_instance = mse(instance_pred, instance_noise) # prior 分支：正则化图像 + 类别提示词 prior_pred = unet(prior_noisy_latents, t, class_prompt_emb).sample loss_prior = mse(prior_pred, prior_noise) # 先验保持总损失，lambda 一般取 1.0 loss = loss_instance + lambda_ * loss_prior
其中lambda是权重系数，diffusers库中对应的参数是prior_loss_weight，默认值为1.0。这个参数直接控制"记住新物体"和"不忘旧知识"之间的平衡。取值过小，正则化效果不明显，过拟合依旧；取值过大，模型会偏向类别均值，目标物体的相似度下降，生成结果回归到普通狗的样子，失去个性化特征。实践中一般保持在1.0附近，如果目标物体特征非常强烈，可以适当降到0.8左右。
关于正则化图像的生成还有几个细节值得注意。第一，类别提示词要和训练时使用的类别词保持一致，如果训练时用a sks dog，正则化集就应生成a dog，不要写成puppy或photo of a dog这种不一致的描述。第二，数量建议是训练图像的5到10倍，比如5张训练图配200到400张正则图，数量不足时正则化约束力不够。第三，生成正则图时Classifier-Free Guidance值取7左右比较稳，过高的CFG会让类别样本对比度过强，反而引入分布偏差。
一个常见的坑是正则化图像的采样器选择。有些教程建议用DDIM生成正则图，实际上DDIM的确定性采样会让图像之间的多样性低于DDPM这类随机采样器。多样性不足的正则集无法很好地覆盖类别分布，保持效果会打折，推荐使用DDPM或Euler a采样器。
三、调参与工程细节：一套可直接套用的抗过拟合组合
除了正则化损失，训练超参对过拟合的影响同样巨大。首先是学习率，这是最容易踩雷的参数。全量微调时学习率的合理区间在1e-6到5e-6之间。学习率越高收敛越快，但过拟合来得也越快，通常1e-6配合800到1500步比较稳妥。如果发现相似度不够想加大学习率，建议同步缩短步数，而不是长时间用高学习率硬跑。
其次是数据增强策略。DreamBooth不建议使用会改变物体外观的增强手段，比如色彩抖动、随机裁剪到物体边缘等，因为这类增强会污染目标物体的真实外观。水平翻转通常可以保留，但如果目标物体本身有明显的左右不对称特征，比如商标位置、花纹方向，翻转也要关掉。另外训练分辨率应与推理分辨率一致，用512训练就用512推理，跨分辨率使用会明显放大过拟合的伪影。
第三点是罕见标识符与类别词的设计。sks是社区默认值，但sks在原模型训练数据中本身有一定含义，可能引入风格偏差，可以尝试换用其他低频token。类别词则要选得具体且准确，训练一辆法拉利就不要用car，而应该用sports car，类别词越精确，正则化集对先验分布的还原度越高，先验保持的效果也就越好。
最后给出一组经过验证的参考配置，可以作为起点再按需微调：
export MODEL_NAME="runwayml/stable-diffusion-v1-5" export INSTANCE_DIR="./data/instance" export CLASS_DIR="./data/prior" # 第一步：生成正则化图像，200张 python generate_prior_images.py \ --prompt "a photo of sports car" \ --num_images 200 \ --guidance_scale 7.0 \ --output_dir $CLASS_DIR # 第二步：训练，学习率1e-6，1000步，先验权重1.0 accelerate launch train_dreambooth.py \ --pretrained_model_name_or_path $MODEL_NAME \ --instance_data_dir $INSTANCE_DIR \ --class_data_dir $CLASS_DIR \ --instance_prompt "a photo of xyz sports car" \ --class_prompt "a photo of sports car" \ --with_prior_preservation --prior_loss_weight=1.0 \ --learning_rate 1e-6 \ --max_train_steps 1000 \ --resolution 512 \ --train_batch_size 2
判断训练是否成功可以归纳为三条标准：一是用instance prompt生成时目标物体相似度足够；二是换成普通类别提示词时输出的是类别内的多样个体而不是训练集复制品；三是同一提示词多次采样的结果保持合理的多样性。三条都满足，说明类别先验得到了良好保持。如果第二条总是不达标，优先检查正则化集的数量和多样性，其次考虑降低学习率或减少训练步数，而不是盲目加大prior_loss_weight，过强的正则化同样会让生成结果平庸化，失去DreamBooth个性化训练的意义。
DreamBooth过拟合先验保持损失修改时间：2026-09-13 22:45:38