RuntimeError: Expected all tensors to be on the same device是PyTorch中最常见也最容易解决的报错之一，但它常常在深夜调试时突然出现，打断原本流畅的训练流程。报错的字面意思很直白：参与同一次运算的所有张量必须位于同一个设备上，要么全在CPU，要么全在同一块GPU上。一旦出现“一半在CPU、一半在CUDA”的混合情况，PyTorch就会拒绝执行并抛出这个异常。理解它背后的机制，才能从根上避免反复踩坑。
一、为什么会报这个错：理解device与张量运算规则
PyTorch中的每一个张量都有一个device属性，记录着它当前存放的位置。默认情况下，通过torch.tensor()、torch.zeros()等函数创建的张量都在CPU上。只有显式调用.to('cuda')或.cuda()，张量才会被复制到GPU显存中。注意这里是复制而不是移动，原张量仍然留在CPU上，这也是很多人误以为“已经传过去了”的原因。
PyTorch的运算符（加、减、矩阵乘、拼接等）在执行前会检查所有输入张量的device是否一致。如果不一致，框架不会自动帮你搬运数据，而是直接报错。这个设计是刻意的：CPU与GPU之间的数据传输需要经过PCIe总线，开销很大，框架如果默默帮你搬运，可能会掩盖严重的性能问题。所以它选择用报错的方式提醒你——你的数据流设计有问题。
看一个最小复现例子：
import torch a = torch.randn(3, 3) # 默认创建在CPU上 b = torch.randn(3, 3, device='cuda') # 创建在GPU上 c = a + b # RuntimeError: Expected all tensors to be on the same device
这个例子虽然简单，但真实的训练代码中，不一致往往来自更隐蔽的地方：模型在GPU、输入在CPU；模型在CPU、损失函数的标签在GPU；甚至自定义层内部新建的张量忘了指定设备。报错信息通常会告诉你是哪一步运算出的问题，比如add、matmul、cat等，可以据此缩小排查范围。
二、四个最常见的设备不一致来源及对应处理
第一个来源也是最经典的：模型没有搬到GPU。很多人写完模型后直接把数据.cuda()了，却忘了模型本身。模型和数据必须同时搬到GPU，两者缺一不可。正确写法是：
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = MyModel().to(device) # 模型搬过去
data = data.to(device) # 数据也搬过去
output = model(data) # 正常运行第二个来源是训练循环里的标签张量。输入图像images搬到了GPU，但标签labels忘了搬，计算loss = criterion(outputs, labels)时同样会炸。养成习惯，batch数据解包后立刻统一搬运：
for images, labels in train_loader:
images = images.to(device, non_blocking=True)
labels = labels.to(device, non_blocking=True)
outputs = model(images)
loss = criterion(outputs, labels)
loss.backward()第三个来源是自定义模块或损失函数内部临时创建的张量。比如在forward里写了mask = torch.ones(x.shape[0])，这个mask默认在CPU，而输入x在GPU，一相乘就报错。解决办法是在创建时就指定设备：
class MyLayer(torch.nn.Module):
def forward(self, x):
# 用x.device跟随输入所在设备，避免硬编码
mask = torch.ones(x.shape[0], device=x.device)
return x * mask.view(-1, 1)第四个来源是全局配置不一致。有些代码混用了.cuda()和.to(device)两种写法，或者依赖的第三方库在内部用了CPU张量，比如numpy数组转张量时默认落在CPU。涉及numpy交互时，务必在转换后补一次.to(device)。
三、推荐的统一设备管理方案与排查顺序
实际工程中，最推荐的做法是在脚本开头定义一次device，然后全文统一使用.to(device)，不要混用.cuda()和.cpu()。这样做的好处是代码天然兼容无GPU的环境，换机器时不需要到处改。对于一些确实想全局生效的场景，可以设置默认设备：
import torch
# 全局设置默认设备（PyTorch较新版本支持）
torch.set_default_device('cuda' if torch.cuda.is_available() else 'cpu')不过要注意，设置了默认设备后，DataLoader的worker线程行为、以及部分依赖CPU环境的库可能出现新问题，所以这个方案适合小型实验项目，大型项目还是显式传递device更稳妥。另外在保存和加载模型时也要小心：GPU上保存的权重用map_location加载到CPU环境，否则在无GPU机器上直接报错：
model.load_state_dict(torch.load('model.pth', map_location=device))遇到报错时，推荐的排查顺序是：先打印model.parameters().__next__().device确认模型在哪；再逐个检查参与运算的张量的.device属性；最后检查损失函数、自定义层、以及循环外创建但在循环内使用的缓存张量。绝大多数问题都能在两分钟内定位。
最后补充一点多GPU场景的注意事项：使用DataParallel或DistributedDataParallel时，主卡（通常是cuda:0）负责汇总运算，如果手动创建的张量写死了device='cuda:1'，与其他在cuda:0上的张量运算时同样会触发这个报错。多卡环境下更应坚持用x.device动态跟随输入设备的写法，让代码对设备位置保持无感知。掌握了“模型、数据、中间张量三者同源”这个原则，这类报错基本就不会再困扰你了。