Hypernetwork是Stable Diffusion WebUI中一种用于轻量化微调原模型的机制,它通过在CLIP文本编码器与UNet中间层之间插入小型神经网络,让基础模型在不被直接修改的情况下学会新的概念、画风或角色特征。与全模型微调相比,它生成的文件通常只有几十到几百兆,训练所需显存也明显更低,因此非常适合个人用户在消费级显卡上尝试。理解它的工作原理,有助于我们在后续数据准备和参数配置中做出更合理的选择。

数据准备与目录规范
训练Hypernetwork的第一步是准备高质量且主题一致的数据集。如果你希望模型学会某种画风,那么所有图片应当属于同一风格范畴;如果是特定角色,则需要多角度、多光照条件下的清晰图像。图片数量不必像全模型训练那样庞大,一般五十到三百张就能看到效果,但每张图都应经过去重和瑕疵清理,避免模糊或带水印的样本拉低整体质量。
在SD WebUI的train目录下,需要建立规范的文件夹结构。通常我们在trainhypernetwork中创建以项目命名的子目录,其下再分img和reg两类文件夹,前者放训练图,后者放正则化图像用于防止过拟合。图像尺寸建议统一为512x512或768x768,因为Stable Diffusion的底模基于特定分辨率训练,尺寸混乱会导致模型难以收敛。同时,为每张图编写对应的文本描述文件,文件名与图片一致仅扩展名为.txt,内容写清主体与风格关键词。
预处理阶段可利用WebUI自带的BLIP或DeepDanbooru打标功能批量生成初始描述,再人工修正。描述中应当突出你希望Hypernetwork吸收的特征,例如“lineart style, flat color”等,而通用背景词可适当省略。数据准备充分后,训练失败率会大幅下降,这也是很多新手容易忽略的基础环节。
训练参数配置与实操
在WebUI的“Train”选项卡中选择“Hypernetwork”页,首先要设定网络层数、层数维度等结构参数。常见配置为层数6到10,每层和每层维度在32到128之间,维度越大容量越高但更易过拟合。学习率通常设在0.00001到0.0001,过高的学习率会让原模型特征被破坏。训练步数一般按“图片数×重复次数×epoch”估算,新手可先设每图重复10次、训练10个epoch观察损失曲线。
下面是一段在自定义脚本中启动训练的核心参数示例,展示了如何指定数据路径与超参:
from modules import hypernetwork
config = {
"name": "my_style",
"train_dir": "train\hypernetwork\my_style\img",
"reg_dir": "train\hypernetwork\my_style\reg",
"layers": 8,
"layer_size": 64,
"learning_rate": 0.00002,
"steps": 3000,
"save_every": 500
}
hypernetwork.train_hypernetwork(config)
训练过程中要重点观察损失值(loss)是否平稳下降。如果出现剧烈抖动,可能是学习率偏高或数据尺寸不一。WebUI会按保存间隔输出中间模型,建议每保存一个就在生图界面测试,以及时终止明显跑偏的任务。相比于LoRA,Hypernetwork对提示词的响应稍弱,因此需要更多步数才能定型,耐心等待是必要成本。
模型应用与提示词叠加
训练完成后,模型文件保存在modelshypernetwork目录,扩展名一般为.pt。在WebUI生图界面右上角选择该Hypernetwork并设定权重,权重0.5到1.0之间较为安全。权重过高会让画面强行扭曲至训练域,过低则效果不可见。应用后,在正向提示词中加入你数据集中常用的风格词,能引导模型调用对应特征。
实际使用时常遇到风格不明显的问题,这时可尝试降低原模型采样步数、换用不同采样器对比。以下为在WebUI中通过API调用并加载Hypernetwork的简化代码,方便批量出图:
import requests
payload = {
"prompt": "1girl, my_style, cherry blossoms",
"negative_prompt": "lowres, bad anatomy",
"steps": 20,
"cfg_scale": 7,
"hypernetwork": "my_style:0.8"
}
r = requests.post("http://127.0.0.1:7860/sdapi/v1/txt2img", json=payload)
print(r.json().keys())
若发现某些场景下图生成异常,可回到数据准备阶段补充对应类型图片重训。Hypernetwork的优势在于切换成本低,同一底模可挂载多个不同用途的网络文件,通过权重调节实现画风混合。掌握从数据到应用的闭环,你便能以极小资源代价扩展Stable Diffusion的创作边界。
HypernetworkStable_Diffusion模型微调修改时间:2026-08-17 03:52:31