如何解决LabelEncoder在训练集和测试集上出现未见标签错误

在使用sklearn的LabelEncoder对分类特征进行编码时，如果测试集出现了训练集中不存在的类别，就会触发未见标签错误，导致模型无法正常完成预测流程。这个错误的本质是LabelEncoder在拟合时只记录了训练集的类别映射关系，无法处理未见过的新类别。

错误复现

我们先通过一段简单的代码复现这个错误，方便理解问题产生的场景：

from sklearn.preprocessing import LabelEncoder
import numpy as np

# 训练集数据，只有三个类别
train_data = np.array(["cat", "dog", "bird"])
# 测试集数据，包含训练集没有的rabbit类别
test_data = np.array(["cat", "dog", "rabbit"])

# 初始化LabelEncoder并拟合训练集
le = LabelEncoder()
le.fit(train_data)

# 尝试转换测试集，会触发未见标签错误
try:
    le.transform(test_data)
except ValueError as e:
    print(f"错误信息：{e}")

运行上述代码会抛出ValueError，提示存在未见的标签，这就是我们要解决的问题。

错误原因分析

LabelEncoder的工作流程分为两步：

• 第一步是fit阶段，它会扫描输入数据，记录所有出现的唯一类别，建立类别到整数的映射字典。
• 第二步是transform阶段，它会根据之前建立的映射字典将输入数据转换为对应的整数，如果输入数据中存在字典里没有的类别，就会抛出未见标签错误。

当训练集和测试集的类别分布不一致，测试集出现训练集没有的类别时，就会触发这个错误。

解决方法

方法一：提前统一训练集和测试集的类别集合

在编码之前，先合并训练集和测试集的所有类别，让LabelEncoder学习到完整的类别映射，再分别转换训练集和测试集：

from sklearn.preprocessing import LabelEncoder
import numpy as np

train_data = np.array(["cat", "dog", "bird"])
test_data = np.array(["cat", "dog", "rabbit"])

# 合并训练集和测试集的所有类别
all_categories = np.unique(np.concatenate([train_data, test_data]))

# 用完整类别集合拟合LabelEncoder
le = LabelEncoder()
le.fit(all_categories)

# 分别转换训练集和测试集
train_encoded = le.transform(train_data)
test_encoded = le.transform(test_data)

print(f"训练集编码结果：{train_encoded}")
print(f"测试集编码结果：{test_encoded}")

这种方法适合训练集和测试集类别差异较小，且可以提前获取全部类别的场景。

方法二：对未知类别进行填充处理

如果无法提前获取测试集的类别，可以在转换测试集时，将未知类别替换为训练集中存在的某个类别，比如出现频率最高的类别：

from sklearn.preprocessing import LabelEncoder
import numpy as np

train_data = np.array(["cat", "dog", "bird", "cat", "cat"])
test_data = np.array(["cat", "dog", "rabbit"])

le = LabelEncoder()
le.fit(train_data)

# 获取训练集出现次数最多的类别
most_common = np.bincount(le.transform(train_data)).argmax()
# 将most_common对应的原始类别作为填充值
fill_value = le.inverse_transform([most_common])[0]

# 处理测试集的未知类别
processed_test = []
for item in test_data:
    if item in le.classes_:
        processed_test.append(item)
    else:
        processed_test.append(fill_value)

test_encoded = le.transform(processed_test)
print(f"处理后的测试集编码结果：{test_encoded}")

方法三：使用支持未知类别的编码工具

sklearn的OrdinalEncoder在较新版本中支持处理未知类别，我们可以设置handle_unknown参数来避免错误：

from sklearn.preprocessing import OrdinalEncoder
import numpy as np

# 注意OrdinalEncoder输入需要是二维数组
train_data = np.array([["cat"], ["dog"], ["bird"]])
test_data = np.array([["cat"], ["dog"], ["rabbit"]])

# 设置handle_unknown为use_encoded_value，unknown_value为-1
oe = OrdinalEncoder(handle_unknown="use_encoded_value", unknown_value=-1)
oe.fit(train_data)

train_encoded = oe.transform(train_data)
test_encoded = oe.transform(test_data)

print(f"训练集编码结果：{train_encoded.flatten()}")
print(f"测试集编码结果：{test_encoded.flatten()}")

这种方法不需要额外处理类别集合，使用起来更加便捷，适合大多数需要编码分类特征的场景。

总结

LabelEncoder的未见标签错误核心是编码器的类别映射不包含测试集的新类别，我们可以根据实际场景选择对应的解决方法。如果可以提前获取全部类别，优先选择统一类别集合的方法；如果无法提前获取测试集数据，使用支持未知类别的编码工具是更稳妥的选择。在实际项目中，建议优先使用OrdinalEncoder替代LabelEncoder处理特征编码，能减少很多类别不一致的异常问题。

LabelEncoder未见标签错误sklearn特征编码机器学习修改时间：2026-07-18 09:33:24