大模型能耗问题已经不只是电费账单上的数字，它直接决定了算力基础设施还能不能继续扩张。训练一个数千亿参数的语言模型需要数千张GPU连续运行数周，其能耗相当于一座小型城镇的日用电量。推理侧同样不容忽视，高频调用让单次推理成本被放大到服务总成本的六成以上。要讨论优化与可持续，不能只看芯片制程，还得拆解能耗构成。
一、能耗到底消耗在哪里
训练阶段的能耗主要来自矩阵乘法、梯度通信和优化器状态更新。反向传播的计算量大约是前向传播的两倍，因为每一层都要计算激活梯度、权重梯度和输入梯度。混合精度训练虽然能降低单步计算量，但分布式训练中的梯度同步会在节点间产生大量网络通信，这部分通信能耗有时能占到总能耗的30%以上。数据并行、模型并行、流水线并行等策略看似提升吞吐，却也把能耗从单卡扩展到整个集群。
推理阶段的前向计算相对固定，但批量大小、序列长度和模型分支都会直接影响功耗。单次推理的绝对功耗并不高，难点在于服务请求往往分布不均。凌晨低负载时GPU仍然保持空闲功耗，一台8卡服务器的空闲功耗可能超过满负载的40%。动态批处理可以把这些空闲周期压缩，让计算密度更均匀。
能耗的度量需要同时看芯片功耗、电源转换效率和散热开销。PUE值越接近1表示数据中心能源利用效率越高，但很多传统数据中心PUE在1.5以上，意味着每消耗1千瓦时电力用于计算，还要额外消耗0.5千瓦时用于制冷和配电。如果不优化散热和供配电，模型算法的节能效果会被基础设施的浪费抵消掉。
二、优化能耗的关键技术手段
混合精度训练是当前训练侧最成熟的降耗手段之一。FP32训练时每个浮点数占用4字节，改成FP16后显存带宽需求直接减半，张量核心的吞吐也能翻倍。下面是一段PyTorch混合精度训练代码，通过自动混合精度AMP和梯度缩放保持数值稳定。
import torch
from torch.cuda.amp import autocast, GradScaler
model = ...
optimizer = torch.optim.AdamW(model.parameters(), lr=3e-5)
scaler = GradScaler()
for data, target in dataloader:
optimizer.zero_grad()
with autocast():
output = model(data.cuda())
loss = loss_fn(output, target.cuda())
scaler.scale(loss).backward()
scaler.step(optimizer)
scaler.update()
模型剪枝与稀疏化从结构上减少计算量。非结构化剪枝可以将权重矩阵中接近零的值置零，借助专用稀疏计算库可以跳过这些乘法。结构化剪枝直接移除整个神经元或通道，对硬件更友好，因为它不依赖稀疏矩阵运算库。下面的代码演示了用PyTorch对全连接层做20%的L1非结构化剪枝。
import torch
import torch.nn.utils.prune as prune
class LinearModel(torch.nn.Module):
def __init__(self):
super().__init__()
self.fc1 = torch.nn.Linear(1024, 4096)
self.fc2 = torch.nn.Linear(4096, 1024)
model = LinearModel()
# 对fc1权重做20%的L1非结构化剪枝
prune.l1_unstructured(model.fc1, name="weight", amount=0.2)
# 移除剪枝掩码并固化稀疏权重
prune.remove(model.fc1, "weight")
sparsity = 100. * float(torch.sum(model.fc1.weight == 0)) / float(model.fc1.weight.nelement())
print(f"稀疏率: {sparsity:.2f}%")
知识蒸馏把大模型学到的概率分布迁移到小模型。教师模型输出的软标签包含类别间相似性信息，小模型用更少参数逼近教师模型表现，推理能耗可降低50%以上。下面给出一个知识蒸馏损失函数的实现，温度参数控制软标签的平滑程度。
import torch
import torch.nn.functional as F
def distillation_loss(student_logits, teacher_logits, labels, temperature=4.0, alpha=0.7):
soft_targets = F.softmax(teacher_logits / temperature, dim=1)
soft_student = F.log_softmax(student_logits / temperature, dim=1)
distill_loss = F.kl_div(soft_student, soft_targets, reduction="batchmean") * (temperature ** 2)
hard_loss = F.cross_entropy(student_logits, labels)
return alpha * distill_loss + (1.0 - alpha) * hard_loss
动态批处理与请求调度能显著提高推理能效。固定批大小会导致GPU在低峰期频繁空闲，动态批处理根据队列长度和超时窗口聚合请求，减少空转。下面的伪代码展示了核心逻辑，模型权重缓存在 C:\models\cache 目录。
# 根据请求队列长度动态调整批大小，减少空闲功耗
import time
def dynamic_batch_inference(queue, model, max_batch=64, timeout_ms=10):
batch = []
deadline = time.time() + timeout_ms / 1000.0
while len(batch) < max_batch and time.time() < deadline:
if queue:
batch.append(queue.pop(0))
else:
time.sleep(0.001)
if not batch:
return []
inputs = collate(batch)
return model(inputs)
这些手段可以组合使用，例如先对教师模型蒸馏得到小模型，再对小模型做结构化剪枝和量化，能耗降幅可以叠加。实际工程中需要监测精度损失，找到能耗与性能的平衡点。
三、可持续发展路径与绿色算力实践
优化算法只能降低单位算力能耗，真正的可持续还要从能源来源和基础设施入手。数据中心选址在可再生能源富集地区，配合储能和电网调度，可以把训练任务安排在绿电充足时段。碳感知计算根据电网实时碳排放因子决定何时启动可延迟任务，比如模型微调、批量推理、日志分析等。
散热是隐藏的能耗大户，液冷与浸没式冷却比传统风冷能效更高，PUE可降到1.1以下。余热回收可以将服务器产生的热量用于城市供暖或温室农业，把废热变成资源。一些北欧数据中心已经实现全年余热回收，抵消了相当一部分社区供热需求。
生命周期评估显示，硬件制造环节的隐含碳可能占大模型总碳足迹的三成以上。延长GPU使用周期、优先采购低碳硬件、退役设备翻新再利用，同样属于优化范畴。下表对比了常见优化手段的典型能耗降幅。
| 优化手段 | 典型能耗降幅 | 适用阶段 |
|---|---|---|
| 混合精度训练 | 约30% | 训练 |
| 结构化剪枝 | 20%-50% | 推理 |
| 知识蒸馏 | 50%-90% | 推理 |
| 动态批处理 | 10%-25% | 推理 |
行业标准如PUE、CUE、WUE等指标推动公开可比的能效披露。企业可以通过模型卡披露训练能耗和碳排放，让可持续不再是口号。软硬件协同、算法与基础设施配合，大模型才能在算力需求持续增长的同时把碳排放控制在可接受范围。