AI模型的性能上限很大程度上由输入数据的质量决定，低质量的数据会导致模型过拟合、预测偏差大等问题，而使用Python进行针对性的数据清洗是改善数据质量的核心手段。
数据清洗的核心价值
原始采集的数据往往存在缺失、异常、重复、格式不统一等问题，直接用于模型训练会引入噪声，拉低模型效果。通过系统的数据清洗，可以去除无效信息、修正错误数据、统一数据格式，让模型学习到更真实的规律，从而提升预测准确率和稳定性。
Python AI数据清洗关键步骤
1. 缺失值处理
缺失值是数据中最常见的问题，处理方式需要根据缺失比例和特征属性选择。如果某列缺失比例超过70%，通常建议直接删除该特征；缺失比例较低时，可以用统计量填充或者模型预测填充。
以下是使用pandas处理缺失值的示例代码：
import pandas as pd
import numpy as np
# 构造示例数据
data = pd.DataFrame({
'age': [25, np.nan, 30, 35, np.nan],
'salary': [5000, 6000, np.nan, 8000, 9000],
'label': [0, 1, 0, 1, 0]
})
# 查看缺失值情况
print("缺失值统计：")
print(data.isnull().sum())
# 删除缺失比例超过70%的列（这里示例无符合的列，仅展示逻辑）
missing_ratio = data.isnull().sum() / len(data)
cols_to_drop = missing_ratio[missing_ratio > 0.7].index
data = data.drop(cols_to_drop, axis=1)
# 数值型特征用均值填充
data['age'] = data['age'].fillna(data['age'].mean())
# 薪资特征用中位数填充，更抗异常值影响
data['salary'] = data['salary'].fillna(data['salary'].median())
print("填充后的数据：")
print(data)
2. 异常值检测与处理
异常值是指明显偏离整体分布的数据点，可能是采集错误或者特殊样本，需要根据业务场景判断是否保留。常用的检测方法有3σ原则、箱线图法、孤立森林等。
以下是使用3σ原则和箱线图法处理异常值的示例：
import pandas as pd
import numpy as np
# 构造带异常值的数据
data = pd.DataFrame({
'score': [85, 90, 88, 92, 150, 87, 89, -10, 91]
})
# 3σ原则检测异常值
mean = data['score'].mean()
std = data['score'].std()
# 超出均值±3倍标准差的视为异常值
outliers_3sigma = data[(data['score'] < mean - 3*std) | (data['score'] > mean + 3*std)]
print("3σ原则检测到的异常值：")
print(outliers_3sigma)
# 箱线图法检测异常值，上下限为Q1-1.5*IQR和Q3+1.5*IQR
q1 = data['score'].quantile(0.25)
q3 = data['score'].quantile(0.75)
iqr = q3 - q1
lower_bound = q1 - 1.5 * iqr
upper_bound = q3 + 1.5 * iqr
outliers_box = data[(data['score'] < lower_bound) | (data['score'] > upper_bound)]
print("箱线图法检测到的异常值：")
print(outliers_box)
# 处理异常值：将异常值替换为上下限
data['score'] = np.where(data['score'] > upper_bound, upper_bound, data['score'])
data['score'] = np.where(data['score'] < lower_bound, lower_bound, data['score'])
print("处理后的得分数据：")
print(data)
3. 重复数据删除
重复数据会放大部分样本的影响，导致模型偏向这些重复样本，需要完全删除。pandas提供了直接的去重方法，可以指定按哪些列判断重复。
去重操作示例：
import pandas as pd
# 构造带重复行的数据
data = pd.DataFrame({
'user_id': [1, 2, 2, 3, 4, 4],
'click': [1, 1, 1, 0, 1, 1],
'time': ['2024-01-01', '2024-01-01', '2024-01-02', '2024-01-01', '2024-01-01', '2024-01-01']
})
print("去重前数据量：", len(data))
# 按所有列去重
data_dedup = data.drop_duplicates()
print("全列去重后数据量：", len(data_dedup))
# 按user_id和click列去重，保留第一次出现的记录
data_dedup_part = data.drop_duplicates(subset=['user_id', 'click'])
print("按部分列去重后数据：")
print(data_dedup_part)
4. 数据标准化与归一化
不同特征的量纲差异过大会影响梯度下降类模型的收敛速度，甚至导致模型忽略小量级特征，因此需要做标准化或归一化处理。标准化是将数据转为均值为0、方差为1的分布，归一化是将数据缩放到0-1区间。
以下是使用sklearn做标准化和归一化的示例：
import pandas as pd
from sklearn.preprocessing import StandardScaler, MinMaxScaler
# 构造不同量纲的特征数据
data = pd.DataFrame({
'height': [170, 175, 180, 165, 172], # 单位厘米
'weight': [65, 70, 75, 60, 68], # 单位千克
'income': [5000, 8000, 12000, 4000, 9000] # 单位元
})
# 标准化处理
scaler_std = StandardScaler()
data_std = scaler_std.fit_transform(data)
print("标准化后的数据：")
print(pd.DataFrame(data_std, columns=data.columns))
# 归一化处理
scaler_minmax = MinMaxScaler()
data_minmax = scaler_minmax.fit_transform(data)
print("归一化后的数据：")
print(pd.DataFrame(data_minmax, columns=data.columns))
5. 类别特征编码
AI模型通常只能处理数值型数据，类别型特征需要转为数值形式。常用的编码方式有独热编码、标签编码，高基数类别特征可以用目标编码。
编码操作示例：
import pandas as pd
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
# 构造类别特征数据
data = pd.DataFrame({
'color': ['红', '蓝', '绿', '红', '蓝'],
'size': ['S', 'M', 'L', 'M', 'S'],
'label': [0, 1, 0, 1, 0]
})
# 标签编码，适用于有序类别
le = LabelEncoder()
data['size_label'] = le.fit_transform(data['size'])
print("标签编码后的size特征：")
print(data[['size', 'size_label']])
# 独热编码，适用于无序类别
# 先转换格式适配OneHotEncoder
color_data = data[['color']].values
ohe = OneHotEncoder(sparse=False)
color_ohe = ohe.fit_transform(color_data)
# 生成独热编码的列名
ohe_cols = [f'color_{cat}' for cat in ohe.categories_[0]]
color_df = pd.DataFrame(color_ohe, columns=ohe_cols)
data = pd.concat([data, color_df], axis=1)
print("独热编码后的数据：")
print(data)
清洗效果验证方法
完成数据清洗后，需要验证清洗效果，避免错误操作破坏数据规律。可以通过对比清洗前后的数据分布、训练简单的基线模型对比效果、检查特征相关性变化等方式验证。如果清洗后模型效果反而下降，需要回溯清洗步骤，检查是否存在过度清洗的问题。
注意事项
- 数据清洗前一定要备份原始数据，避免操作失误无法恢复
- 所有清洗操作需要记录逻辑，保证实验可复现
- 处理异常值、缺失值时需要结合业务背景，不能盲目套用规则
- 测试集的清洗规则必须和训练集保持一致，避免数据泄露