PyTorch训练时损失不下降的原因是什么，该如何检查学习率设置与数据标准化过程

在PyTorch深度学习模型训练过程中，损失值持续不下降是开发者经常遇到的棘手问题，这会直接导致模型无法收敛到理想效果，影响后续的任务精度。学习率设置不当和数据标准化流程存在偏差是引发该问题的两个核心因素，需要针对性排查。

损失不下降的常见核心原因

除了学习率和数据标准化问题外，还有模型结构缺陷、损失函数选择错误、梯度消失或爆炸、数据集标注错误等原因，但本文重点聚焦学习率和数据标准化两个高频诱因。

学习率相关问题的影响

学习率是控制模型参数更新步长的关键超参数，取值不合理会直接阻碍损失下降：

• 学习率过大：参数更新步长超过损失函数的合理变化范围，会导致参数在最优值附近震荡，无法收敛，损失值可能出现忽高忽低或者持续维持高位的情况。
• 学习率过小：参数更新速度极慢，每一轮训练的损失下降幅度几乎可以忽略，看起来就像损失完全不下降。
• 学习率衰减策略不匹配：如果任务本身需要较长的训练周期，但没有设置合理的衰减策略，后期学习率依然过高也会导致损失无法继续下降。

数据标准化问题的危害

数据标准化是为了让输入数据的分布符合模型训练的预期，避免不同特征的量纲差异影响参数更新：

• 未做标准化或者标准化方法错误，会导致不同特征的数值范围差异过大，模型在更新参数时会优先适配数值大的特征，忽略数值小的特征，损失难以优化。
• 训练集和验证集使用不同的标准化参数，会导致数据分布不一致，训练时损失下降但验证时异常，看起来整体训练效果不符合预期。
• 标准化计算时使用了整个数据集的统计量而不是仅用训练集的统计量，会引发数据泄漏，同样会影响损失的正常下降。

学习率设置的排查方法

第一步：检查基础学习率取值

首先可以查看代码中优化器的学习率初始设置，常见的初始学习率参考范围如下：

如果当前设置的学习率明显超出对应任务的范围，可以先调整到参考区间内再观察损失变化。以下是PyTorch中查看优化器学习率的代码示例：

import torch
import torch.nn as nn
import torch.optim as optim

# 定义简单模型
model = nn.Linear(10, 2)
# 定义优化器，设置初始学习率
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 打印当前优化器的学习率
for param_group in optimizer.param_groups:
    print(f"当前学习率: {param_group['lr']}")

第二步：测试不同学习率的效果

如果不确定当前学习率是否合适，可以使用小批量数据做学习率测试，观察不同学习率下的损失变化：

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset

# 构造小批量测试数据
x = torch.randn(100, 10)
y = torch.randint(0, 2, (100,))
dataset = TensorDataset(x, y)
dataloader = DataLoader(dataset, batch_size=20, shuffle=True)

model = nn.Linear(10, 2)
criterion = nn.CrossEntropyLoss()

# 测试不同学习率
test_lrs = [0.1, 0.01, 0.001, 0.0001]
for lr in test_lrs:
    optimizer = optim.Adam(model.parameters(), lr=lr)
    total_loss = 0.0
    # 跑一个小批次观察损失
    for batch_x, batch_y in dataloader:
        optimizer.zero_grad()
        output = model(batch_x)
        loss = criterion(output, batch_y)
        loss.backward()
        optimizer.step()
        total_loss += loss.item()
    print(f"学习率 {lr} 对应平均损失: {total_loss / len(dataloader)}")

如果某个学习率对应的损失下降明显，就可以优先采用该学习率作为初始值。

第三步：检查学习率衰减策略

如果训练前期损失下降正常，后期停滞，需要检查是否设置了合理的衰减策略。以下是PyTorch中常用的衰减策略代码示例：

import torch
import torch.optim as optim

model = torch.nn.Linear(10, 2)
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 阶梯衰减策略，每10个epoch学习率乘以0.1
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)

# 训练循环中调用
for epoch in range(50):
    # 训练逻辑省略
    scheduler.step()
    # 打印当前epoch的学习率
    for param_group in optimizer.param_groups:
        print(f"Epoch {epoch}, 当前学习率: {param_group['lr']}")

数据标准化过程的排查方法

第一步：确认标准化的数据范围

首先要确认标准化是否仅使用了训练集的统计量，绝对不能把验证集、测试集的数据加入统计量计算，避免数据泄漏。以下是标准的训练集标准化参数计算示例：

import torch
from torchvision import datasets, transforms
from torch.utils.data import DataLoader

# 加载训练集
train_dataset = datasets.MNIST(root='./data', train=True, download=True)
# 计算训练集的均值和标准差，仅使用训练数据
train_data = train_dataset.data.float() / 255.0  # 先归一化到0-1
train_mean = train_data.mean()
train_std = train_data.std()
print(f"训练集均值: {train_mean}, 训练集标准差: {train_std}")

第二步：检查标准化的应用逻辑

需要确认训练和推理阶段使用的是同一套标准化参数，以下是训练时和推理时的标准化正确用法示例：

import torch
import torch.nn as nn
from torchvision import datasets, transforms

# 计算得到的训练集均值和标准差
train_mean = 0.1307
train_std = 0.3081

# 训练时的预处理管道，使用训练集统计量
train_transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(mean=[train_mean], std=[train_std])
])

# 推理时的预处理管道，必须使用同样的训练集统计量
test_transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(mean=[train_mean], std=[train_std])
])

# 加载数据集时应用对应管道
train_dataset = datasets.MNIST(root='./data', train=True, transform=train_transform)
test_dataset = datasets.MNIST(root='./data', train=False, transform=test_transform)

第三步：验证标准化后的数据分布

可以打印标准化后的数据统计信息，确认分布是否合理，标准化后的数据均值应该接近0，标准差接近1：

import torch
from torch.utils.data import DataLoader

# 假设已经得到标准化后的训练数据加载器train_loader
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)
# 取一个小批次数据验证
batch_data, _ = next(iter(train_loader))
print(f"标准化后数据均值: {batch_data.mean()}")
print(f"标准化后数据标准差: {batch_data.std()}")

如果均值和标准差偏离0和1过多，说明标准化过程存在问题，需要重新检查计算方法。

综合排查流程建议

当遇到PyTorch训练损失不下降的问题时，可以按照以下顺序排查：

1. 先检查数据加载和标注是否正确，排除数据本身的问题。
2. 查看学习率初始设置，用不同学习率做小批量测试，确认学习率是否合理。
3. 检查数据标准化流程，确认统计量计算范围、训练和推理的一致性、标准化后的分布是否符合预期。
4. 如果以上都没有问题，再排查模型结构、损失函数、梯度等相关内容。

通过逐步排查学习率和数据标准化的问题，大部分损失不下降的情况都可以得到解决，让模型顺利进入收敛阶段。

PyTorch损失不下降学习率设置数据标准化深度学习训练修改时间：2026-07-20 02:03:54