Textual Inversion 是 Stable Diffusion 生态里成本最低的个性化训练方法之一。它的核心思路并不是重新训练扩散模型，而是在文本编码器中塞入一个或几个新的词向量，让某个自定义占位符能指向一组特定视觉特征。训练完成后，模型权重几乎不用动，输出文件通常只有几十 KB，却能显著改变生成结果。与 DreamBooth 相比，它显存占用低、训练时间短，适合只有几张照片、想复现同一人物或同一画风的场景。
一、Textual Inversion到底训练了什么
很多教程把 Textual Inversion 叫做“Embedding 训练”，但容易让人误以为它在训练整个文本编码器。实际上，在默认配置里，Stable Diffusion 的 UNet 与 CLIP 文本编码器都会被冻结，唯一更新的是一张新增的嵌入表。Stable Diffusion 的文本编码器把每个 token 映射到一个 768 维向量，再交给交叉注意力层。当我们定义一个占位符 <person> 时，模型并不知道它代表什么；训练任务就是通过少量图片和对应的文本描述，不断调整这个 token 对应的向量，让重建损失逐步下降。训练结束后，这个向量就会在语义空间里逼近目标人物或风格。
这带来两个直接好处。首先是参数规模极小，一个 Embedding 文件通常只有几十 KB 到几百 KB，不会像 DreamBooth 那样生成数 GB 的模型权重。其次是推理时无需加载额外模型，只要把 Embedding 文件放进指定目录，提示词里输入 <person> 就能生效。代价则是表达能力有限，遇到复杂姿态、强遮挡或与初始化词差异过大的概念时，单向量可能不够稳定。因此它更适合做“风格锚点”或“人物锚点”，而不是完整的身份重建。
从实现角度看，Textual Inversion 的训练目标可以概括为：给定一组图片和同一描述模板，让模型在条件文本包含该占位符时生成接近原图的输出。这里的“接近”使用扩散模型的噪声预测误差衡量。由于文本编码器没有打开梯度更新，反向传播只流向 token embedding 对应的行，所以显存占用很低，一张 8GB 显卡通常就能跑起来。
二、训练前准备：图片比参数更关键
Textual Inversion 对数据量的要求不高，但对图片质量非常敏感。一般建议准备 5 到 10 张目标人物或风格样本，尽量覆盖正面、侧面、半身、全身和不同表情。图片不要尺寸过小，短边最好不低于 512 像素，避免模型学到模糊纹理。背景也不宜过于杂乱，否则向量容易把背景元素一起“记住”。如果只想学习脸部特征，可以适当裁剪到头部和肩部区域；如果希望保留服装和姿态，则需要保留更多构图信息。
另一个容易被忽略的环节是文本打标。训练时需要给每张图片配一句描述，通常使用模板化描述，例如“a photo of <person>”。如果图片里人物穿着固定的红色外套，而描述里没有写，模型可能把红色外套也编码进 <person>，导致以后生成任何场景都带着这件外套。更稳妥的做法是把可变特征写出来，例如“a photo of <person> wearing a red jacket, standing in a park”。但这会增加训练难度。对于只想绑定的核心特征，可以采用简短描述；对于容易混淆的背景或衣着，则建议在数据清洗阶段处理掉。
准备数据时可以先写一个清单：图片数量是否在 5 到 20 张之间；是否包含多角度；是否去掉水印、文字和明显滤镜；是否统一分辨率；是否检查过裁剪后没有缺胳膊少腿。这些细节会直接影响收敛速度。与其花大量时间调参，不如先花时间把数据集做干净。很多训练失败案例并不是参数问题，而是图片本身存在重复或遮挡。
三、训练命令与关键参数
如果使用 diffusers 官方脚本，训练命令大概如下。这里把占位符设置为 <person>，初始化词为 woman，表示从这个基础词的语义出发开始训练。学习率设在 5e-4，步数设为 3000，每 500 步保存一次中间结果。
python train_textual_inversion.py \ --pretrained_model_name_or_path="runwayml/stable-diffusion-v1-5" \ --train_data_dir="./dataset/person" \ --placeholder_token="<person>" \ --initializer_token="woman" \ --learnable_property="object" \ --output_dir="./embeddings/person" \ --resolution=512 \ --train_batch_size=1 \ --learning_rate=5e-4 \ --max_train_steps=3000 \ --save_steps=500
参数里最容易踩坑的是 learnable_property 和 initializer_token。人物训练通常用 object，画风训练用 style。初始化词应选择与目标概念最接近的普通词，比如目标人物是年轻女性，可以用 woman；如果是特定建筑，可以用 building。如果初始化词和目标差距太大，训练会变得艰难，甚至出现奇怪的崩溃图。学习率方面，Textual Inversion 对学习率比较宽容，0.0005 到 0.005 都有人使用。如果训练过程中损失下降缓慢，可以尝试提高到 0.001 或 0.002；如果出现颜色异常、大量噪点，则降低学习率。
训练启动后需要盯着损失曲线，但不要只依赖 loss 判断。建议每 500 步用同一个提示词生成一组图，固定在相同 seed 和 CFG 下对比。比如提示词可以写：
photo of <person> sitting in a coffee shop, soft light, 85mm
在 1500 步时可能还带着初始化词的影子，到 3000 步会逐渐接近目标特征，超过 8000 步则可能出现过拟合。对于人物身份，通常 3000 到 6000 步足够；对于更抽象的画风，可能需要更多步数和更多样本。
四、效果评估与调优方式
训练完成后，Embedding 文件会保存为 learned_embeds.bin 或 .pt 格式，具体取决于训练脚本。在 Stable Diffusion WebUI 中，可以把它放到 embeddings 目录下，重启后直接在提示词中使用 <person>。如果文件命名为 my_person.pt，则提示词里可以写 my_person 或 <my_person>，这一点因前端版本而异，使用前先看插件说明。
评估时不要只看一两张好看的图，建议固定种子跑多组 prompt，分别测试不同场景、不同构图和不同光照。比如：
portrait of <person>, studio lighting, 35mm full body shot of <person> walking on a rainy street <person> as a oil painting character, old master style
如果发现人物在特写还行、全身就崩，通常是训练图片缺少全身照，补几张全身样本再继续训练即可。如果发现衣服颜色总是被固定住，说明描述文本没有把服装信息分开。如果生成结果与初始化词高度相似，说明训练步数不足或学习率过低。
调优阶段还可以尝试多个 Embedding 叠加，例如把人物 Embedding 与画风 Embedding 同时放在提示词里。不同向量的权重也可以调整，写法类似 (<person>:1.2)，但要注意语法以具体前端为准。若单向量表达力不够，可以训练多个 token，比如用 <person> 绑定面部，用 <outfit> 绑定服装，再组合使用。这样比把全部信息硬塞进一个向量更稳，调试也更灵活。总的来说，Textual Inversion 的训练成本低、迭代速度快，适合作为个性化生成的入门方案。哪怕第一次跑崩了，只要重新整理图片、微调学习率和步数，很快就能得到一个效果不错的专属向量。
Textual InversionEmbedding训练Stable Diffusion修改时间：2026-09-19 23:00:35