Scikit-learn数据预处理时怎么解决模型训练中的NaN值错误

在使用Scikit-learn构建机器学习流程时，NaN值错误是阻碍模型顺利训练的典型障碍。很多算法实现基于稠密数值矩阵运算，当特征中存在未填充的空位，底层Cython代码会直接拒绝执行并抛出ValueError。理解缺失值的来源与处理机制，是搭建健壮Pipeline的前提。

NaN值为何会导致训练失败

Scikit-learn的设计哲学要求输入为明确的有限数值。像线性回归、支持向量机、神经网络这类基于梯度的模型，在计算损失或核函数时若遇到NaN，会导致梯度变为非有限值，训练过程立即崩溃。即使某些树模型在较新版本中支持缺失值，旧版或自定义Transformer仍可能报错。

从数据层面看，NaN通常来自采集遗漏、类型解析失败或合并操作中的不对齐。例如用pandas读取CSV时，空字符串被转为NaN，但开发者未察觉便送入fit方法。此时错误提示往往仅显示“Input contains NaN”，难以定位具体列，增加排查成本。

基础填补方案：SimpleImputer

最通用的处理方式是使用SimpleImputer按策略填补。它支持均值、中位数、众数或常数填充，能够逐列适配数据分布。对于数值特征，中位数比均值更抗离群点；对于类别特征，众数填充可保留频次信息。

下面示例展示如何在数值矩阵上用中位数填补，并衔接标准化：

from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
import numpy as np

# 模拟含NaN的特征矩阵
X = np.array([[1.0, 2.0], [np.nan, 3.0], [7.0, np.nan]])

# 构建填补与缩放流水线
pipe = Pipeline([
    ('imputer', SimpleImputer(strategy='median')),
    ('scaler', StandardScaler())
])

X_clean = pipe.fit_transform(X)
print(X_clean)

该代码的优势在于将填补逻辑封装进Pipeline，避免训练集与测试集因分别拟合产生数据泄露。缺点是均值或中位数填充可能弱化特征间的真实缺失语义，例如某些NaN本身代表“无消费记录”而非随机丢失。

进阶处理：KNNImputer与缺失掩码

当特征间存在相关性时，KNNImputer利用样本距离填补，比单变量统计更合理。它计算近邻样本的加权平均，适合连续型稠密数据，但计算开销随样本量上升。

以下代码演示KNN填补：

from sklearn.impute import KNNImputer

X = np.array([[1, 2], [3, np.nan], [np.nan, 4], [5, 6]])

imputer = KNNImputer(n_neighbors=2)
X_filled = imputer.fit_transform(X)
print(X_filled)

若业务需区分“缺失”与“零值”，可借助MissingIndicator生成二值掩码特征，与原特征拼接，让模型自行学习缺失模式。这种手法在风控场景中常显著提升auc。

Pipeline中的正确排布顺序

预处理顺序直接影响结果。一般先填补再缩放，因为缩放依赖有限均值与方差。若先编码类别再做填补，需保证Imputer仅作用于数值列，可用ColumnTransformer分而治之。

示例结构如下：

from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder

num_cols = ['age', 'income']
cat_cols = ['city']

pre = ColumnTransformer([
    ('num', SimpleImputer(strategy='median'), num_cols),
    ('cat', Pipeline([
        ('imp', SimpleImputer(strategy='constant', fill_value='missing')),
        ('oh', OneHotEncoder())
    ]), cat_cols)
])

这种组合既解决NaN错误，又避免类别列出现空串编码异常。训练时只需对整体pre调用fit_transform，即可将干净矩阵传给下游分类器或回归器，从根本上规避模型输入校验失败。

Scikit-learnNaN值处理数据预处理修改时间：2026-08-09 14:06:26