使用Checkpoint Merger进行模型剪枝：如何去除冗余权重有效减小模型体积？

玩过Stable Diffusion本地部署的朋友大多遇到过同一个问题：模型越下越多，动辄2GB、4GB甚至7GB的checkpoint文件，硬盘很快就告急，加载时的等待时间也让人心烦。其实这些大文件里藏着不少冗余信息，比如训练时保存的EMA权重、优化器状态，以及大量精度过剩的浮点参数。通过Checkpoint Merger提供的合并与剪枝能力，我们可以在几乎不损失画质的情况下把模型体积压缩下来，甚至让4GB的模型瘦身到2GB以内。

一、先搞清楚模型为什么这么大

一个标准的Stable Diffusion checkpoint本质上是一个safetensors或ckpt文件，里面序列化了UNet、CLIP文本编码器和VAE三大部分的权重张量。以SD 1.5为例，FP16格式下完整模型约2GB，而FP32格式则会膨胀到4GB以上。很多社区模型为了兼容性默认保存FP32权重，再加训练框架默认保留的EMA（指数移动平均）权重副本，体积直接翻倍。

冗余主要来自三个层面。第一是数值精度冗余：推理时FP16与FP32的出图差异肉眼几乎不可辨，但体积相差一倍。第二是结构性冗余：训练checkpoint里包含的optimizer state、scheduler状态对推理毫无用处。第三是功能性冗余：一些模型为了兼容OpenCLIP的多个隐藏层输出，保留了不必要的中间层权重。理解了这些，剪枝的思路就清晰了：去掉不需要的张量，降低数值精度，保留对生成质量真正有贡献的部分。

可以先加载模型检查一下内部到底有哪些张量，做到心里有数：

from safetensors import safe_open

with safe_open("model.safetensors", framework="pt") as f:
    keys = list(f.keys())
    print(f"总张量数: {len(keys)}")
    # 查看是否存在EMA权重
    ema_keys = [k for k in keys if 'ema' in k.lower()]
    print(f"EMA相关张量: {len(ema_keys)}")
    # 打印部分张量的形状与精度
    for k in keys[:5]:
        t = f.get_tensor(k)
        print(k, t.shape, t.dtype)

二、用Checkpoint Merger完成合并与剪枝的操作流程

Automatic1111的WebUI自带Checkpoint Merger功能，入口在顶部的Checkpoint Merger标签页。它的核心逻辑是把两个模型按比例插值合并，同时提供多种输出精度选项，这正是我们做剪枝的关键。具体操作分两步：第一步选择Primary model（A模型）和Secondary model（B模型），把插值比例Multiplier设为0，这样输出就完全等于A模型本身；第二步在Output format下拉框里选择fp16或safetensors格式输出。

这个看似只是重新导出的过程，实际上完成了三件事：权重从FP32降到FP16，体积减半；丢弃了原文件中可能残留的优化器状态；输出为干净的safetensors格式，加载更快也更安全。比如一个4.27GB的FP32 ckpt模型，经过0比例合并导出FP16后，通常只有2.13GB左右，出图效果几乎一致。

如果想在命令行批量处理，可以直接用Python脚本对张量做逐层裁剪：

import torch
from safetensors.torch import load_file, save_file

# 加载模型并转换为FP16
state_dict = load_file("model_fp32.safetensors")
pruned = {}

for k, v in state_dict.items():
    # 过滤掉EMA和optimizer相关的冗余张量
    if 'model_ema' in k or 'optimizer' in k:
        continue
    pruned[k] = v.to(torch.float16)

# 转置部分卷积权重以兼容推理框架（可选）
for k in list(pruned.keys()):
    if 'first_stage_model' in k and pruned[k].dim() == 4:
        pruned[k] = pruned[k].contiguous()

save_file(pruned, "model_pruned_fp16.safetensors")
print("剪枝完成")

三、进一步压缩：插值合并与结构化剪枝

单纯的精度转换之外，Checkpoint Merger的插值能力还能做更有意思的事。比如把一个写实模型和一个动漫模型按0.5比0.5混合，得到的模型往往兼具两者特点，如果你同时只保留这一个合并结果，就可以删掉两个原始大模型，实际等效于把两份存储压缩成一份。这种做法在社区里非常流行，很多所谓融合模型就是这样诞生的。

更激进的手段是结构化剪枝，直接砍掉对输出影响小的整层或整通道。不过要注意，扩散模型的UNet结构高度耦合，随意删层容易导致出图崩坏。相对安全的做法是借助工具分析各层权重的重要性，比如按权重绝对值统计贡献度：

import torch

def layer_importance(state_dict, prefix="model.diffusion_model"):
    # 统计每个线性层和卷积层权重的L1范数
    scores = {}
    for k, v in state_dict.items():
        if k.startswith(prefix) and 'weight' in k and v.dim() >= 2:
            scores[k] = v.abs().mean().item()
    # 按贡献度从低到高排序
    for k, s in sorted(scores.items(), key=lambda x: x[1])[:10]:
        print(f"{s:.6f}  {k}")

# 贡献度极低的层可以优先尝试置零或裁剪

对于绝大多数用户来说，做到FP16转换加EMA剔除已经能拿到一半以上的体积收益，结构化剪枝属于进阶玩法，建议先在小范围验证出图质量后再大规模应用。

四、剪枝前后效果对比与注意事项

实测下来，一个7GB的SD 1.5训练checkpoint，经过EMA剥离加FP16转换后约为2GB，再以safetensors格式导出可稳定在1.9GB左右，体积压缩超过百分之七十。用同一组提示词和固定随机种子对比剪枝前后的输出，画面构图、色彩、细节基本一致，差异主要体现在极细微的纹理上，肉眼几乎无法分辨。剪枝后的模型加载时间也明显缩短，低显存显卡上的推理占用更友好。

有几个坑需要提前避开。首先，剪枝前务必备份原始模型，safetensors写入是覆盖式的，操作失误无法回退。其次，如果模型要继续用于LoRA训练或二次微调，建议保留FP32版本，FP16权重在梯度累积时可能出现数值下溢。第三，VAE部分建议单独处理，有些模型的VAE本身有问题，剪枝时顺便替换成官方vae-ft-mse-840000权重，出图色彩会更好。最后，注意区分EMA权重该不该留：推理用EMA权重通常更稳定，所以如果你的文件里EMA和普通权重并存，剪枝时保留EMA那份、剔除普通副本，效果反而更佳。

整体来看，Checkpoint Merger做模型瘦身是一条低成本高收益的路线，不需要深入的数学基础，点点鼠标就能把硬盘空间省下来。配合合理的模型管理习惯，比如统一safetensors格式、定期清理低频模型，本地跑图的体验会轻松不少。

Checkpoint Merger模型剪枝Stable Diffusion模型合并修改时间：2026-09-16 11:36:45