深度学习项目落地时，训练只是前半程，真正的考验在于把PyTorch模型变成能稳定响应请求的服务。模型推理指的是利用已训练好的权重对新数据进行前向计算并输出预测，这一过程不涉及反向传播，却对资源调度和代码写法有独特要求。许多从训练脚本直接改造的推理程序，会因为保留了不必要的计算图而拖慢速度。
推理前必须做的模型状态切换
在PyTorch中，同一个模型对象在训练和评估时的行为并不一致。像BatchNorm、Dropout这类层，在训练阶段会依据当前批次数据统计均值方差或随机丢弃神经元，而在推理阶段应当使用训练时累积的移动平均值并关闭随机性。如果忘记调用model.eval()，推理结果会出现难以察觉的偏差，尤其在目标检测或医疗影像场景中可能引发严重误判。
另一个关键动作是关闭梯度计算。训练时构建的计算图会保存中间变量用于反向传播，推理若仍保留这一机制，将额外占用数倍显存。通过torch.no_grad()上下文管理器或torch.set_grad_enabled(False)，可让前向过程只走纯数值运算。下面这段代码展示了标准推理封装：
import torch
from my_model import Net
model = Net()
model.load_state_dict(torch.load('weights.pth'))
model.eval() # 切换评估模式
dummy_input = torch.randn(1, 3, 224, 224)
with torch.no_grad(): # 禁用梯度
output = model(dummy_input)
print(output.argmax(dim=1))
除了上述两点，部分用户还会误将模型放在train()模式下做压测，导致吞吐数据虚低。正确的状态切换不仅影响数值正确性，也直接决定单机最多能并发多少路请求。在批量推理任务中，建议将多个样本组成batch一次性送入，配合eval与no_grad可将GPU利用率提升到百分之八十以上。
CPU与GPU部署的取舍及优化手段
并非所有推理都要依赖显卡。对于轻量模型如MobileNet或小规模文本分类器，现代多核CPU配合OpenMP并行已经能实现毫秒级响应。PyTorch的CPU版本在英特尔处理器上可通过设置torch.set_num_threads()绑定物理核，避免线程抖动。而在GPU方案中，显存带宽是瓶颈，使用torch.cuda.amp半精度能近乎翻倍吞吐，但需注意某些算子不支持float16。
当模型必须上GPU却又受限于显存时，可借助梯度检查点之外的推理专属技术：TorchScript。它将Python模型编译成图表示，脱离解释器循环，减少Python开销。以下示例把模型追踪为脚本并保存，之后可在无Python环境的C++端加载：
import torch
model.eval()
example = torch.rand(1, 3, 224, 224)
scripted = torch.jit.trace(model, example)
scripted.save('model_scripted.pt')
# 后续加载
loaded = torch.jit.load('model_scripted.pt')
with torch.no_grad():
res = loaded(example)
量化是另一把利器。动态量化把权重转成int8，在线性层和LSTM上效果明显，几乎不损精度却能把模型体积压到四分之一。静态量化则需校准数据集，更适合CNN服务常驻。实践中常组合使用：先用TorchScript固化结构，再施加量化，使BERT类模型在普通服务器上也能做到每秒上百句推理。
生产环境推理的批处理与异步封装
线上流量往往呈现波峰波谷，逐条请求触发模型前向会造成设备空转。合理做法是设置微批窗口，比如每五十毫秒收集一次待处理数据，拼成batch后统一计算。这种策略在PyTorch中可用torch.stack组装张量，配合队列实现。批尺寸过大虽提升吞吐却增加尾延迟，需按业务SLA折中，通常选十六或三十二。
异步服务框架如FastAPI配合asyncio能让Web层不阻塞推理线程。但PyTorch的GPU计算本身是同步的，要用torch.cuda.Stream分离不同模型的计算流。下方伪代码说明如何把推理丢进独立worker，主进程只负责收发：
import asyncio, torch
from concurrent.futures import ThreadPoolExecutor
executor = ThreadPoolExecutor(max_workers=2)
model = torch.jit.load('model_scripted.pt').cuda().eval()
def infer(batch_tensor):
with torch.no_grad():
return model(batch_tensor.cuda())
async def handle(items):
tensor = torch.stack(items)
loop = asyncio.get_event_loop()
result = await loop.run_in_executor(executor, infer, tensor)
return result.cpu()
监控也是生产推理不可缺的一环。应记录每次batch的耗时、显存占用及输出分布漂移。当发现推理延迟突增，多半是某一路请求携带了异常尺寸张量触发了隐式拷贝。通过在入口处用tensor.shape做强校验，并统一重采样，可规避绝大多数稳定性故障。把以上环节串起来，PyTorch模型推理才能从 demo 走向真正可靠的业务支撑。
PyTorch模型推理inference_optimization修改时间：2026-08-15 00:36:29