在信贷审批、招聘筛选、医疗资源分配等高风险场景中,机器学习模型经常被要求对种族敏感决策保持公平。但实际操作时,很多团队只删除显式的种族字段,却忽略了两类更深层的问题:一是训练数据中不同种族群体的样本比例严重失衡,二是大量看似中立的特征与种族存在统计相关。两者叠加会让模型在少数群体上产生系统性误判。要解决种族偏见,不能只靠单一的数据配平,也不能只靠删除敏感列,而需要从数据平衡和特征去相关两个方向同时干预。

一、种族偏见从何而来:数据失衡与代理变量
数据失衡是种族偏见最直接的来源。假设一个贷款审批数据集中,A族裔占80%,B族裔占20%,且正负标签比例在两组间差异明显。模型为了降低整体误差,会优先拟合多数群体的模式,对少数群体的边界样本更容易给出错误判断。更麻烦的是,如果B族裔正样本本来就少,模型可能倾向于把B族裔全部预测为负类,因为这样对整体准确率损失很小。
但仅靠平衡标签比例并不能完全消除偏差,原因在于代理变量。即使把种族列从特征中删除,邮政编码、社区编号、语言偏好、家庭成员职业、消费类别等信息仍可能高度关联种族身份。比如某个社区的种族构成长期稳定,该社区的邮编几乎可以准确推断种族。模型一旦利用这些特征,就等同于间接使用了敏感属性。这种隐性依赖让去相关变得必要。
还有一个容易被忽视的问题是标签本身并非中立。历史数据中的标签往往反映了结构性不平等。例如少数族裔可能因为历史原因更难获得贷款,导致历史标签中该群体的违约率被高估或低估。数据平衡和去相关处理的是模型学习过程,无法完全修正标签定义偏差,因此在处理前必须结合业务背景判断标签是否可用。
二、数据平衡:重采样与样本加权的实践细节
数据平衡的最简单做法是重采样。欠采样随机丢弃多数群体样本,能让数据集在种族维度上达到数量一致,但会损失大量有效信息,尤其当多数群体包含关键边界样本时,丢弃它们会降低模型泛化能力。过采样则复制少数群体样本,优点是保留所有原始信息,缺点是简单复制容易导致模型对少数群体样本过拟合。
import pandas as pd
from sklearn.utils import resample
# 假设 df 包含特征列、目标列 y 以及敏感属性列 race
group_a = df[df['race'] == 'group_a']
group_b = df[df['race'] == 'group_b']
group_b_upsampled = resample(
group_b,
replace=True,
n_samples=len(group_a),
random_state=42
)
df_balanced = pd.concat([group_a, group_b_upsampled])
上面的代码演示了有放回过采样。为了让正负标签也保持平衡,通常需要按种族和标签两个维度联合分组,再分别调整样本数量。只按种族配平而忽略标签差异,仍然可能让某个少数群体中的负样本数量过多,模型对该群体的正类识别能力依旧不足。
如果不希望生成重复样本,可以采用样本加权。在损失函数中对少数群体的正负样本赋予更高权重,使模型在优化时更加重视这些样本。Scikit-learn的很多模型支持sample_weight参数,逻辑回归、梯度提升树、XGBoost等都可以使用。权重法的好处是不改变数据量,也不引入重复数据,但权重过大可能让模型在少数群体上产生新的过拟合,因此需要根据验证集调整。
三、去相关:削弱敏感属性与特征的统计关联
去相关的目标是移除其他特征中能够被敏感属性解释的部分,让剩余信息尽量与种族无关。最直接的方法是残差化:对每个特征用敏感属性做回归,保留残差,这样特征中与种族线性相关的信号就会被剥离。该方法计算成本低,适合作为基线处理。
import numpy as np
import pandas as pd
from sklearn.linear_model import LinearRegression
def residualize_features(df, feature_cols, sensitive_col):
df = df.copy()
sensitive_values = df[[sensitive_col]].values
for col in feature_cols:
model = LinearRegression()
model.fit(sensitive_values, df[col].values)
predictions = model.predict(sensitive_values)
df[col] = df[col].values - predictions
return df
features = ['zip_code_index', 'income_level', 'loan_amount']
df_processed = residualize_features(df, features, 'race')
如果敏感属性是二分类,线性回归等效于计算两组均值的差异,本质上是在做组间均值对齐。这种方法能消除线性相关,但无法处理非线性关联。比如某特征与种族的关系是抛物线形,残差化后仍可能残留可识别的模式。对于更复杂的情况,可以使用Fairlearn或AI Fairness 360中的预处理器。
import pandas as pd
from fairlearn.preprocessing import CorrelationRemover
remover = CorrelationRemover(sensitive_feature_ids=['race'])
X_decorrelated = remover.fit_transform(df)
df_decorrelated = pd.DataFrame(
X_decorrelated,
columns=[c for c in df.columns if c != 'race']
)
CorrelationRemover默认会移除所有特征与敏感属性的线性相关,也可以调节alpha参数控制去相关强度。alpha越大,特征被修改得越多,公平性可能提升,但可用信息损失也越大。去相关不是越彻底越好,因为邮政编码、收入等特征除了携带种族信息外,还包含大量有用的业务信号。过度去相关会把这些信号一并抹掉,导致模型准确率大幅下降。
还有一种对抗去偏思路:训练一个分类器尝试从非敏感特征预测种族,同时训练主模型在这些特征上难以被该分类器识别出种族。这种对抗方法可以捕捉非线性关联,但训练不稳定,调参成本较高。工程实践中通常先尝试残差化或CorrelationRemover,再根据公平性评估结果决定是否引入更复杂的对抗机制。
四、组合策略与公平性评估方案
数据平衡和去相关解决的是不同层面的问题,组合使用通常比单一方法更稳定。建议的流程是:先根据种族和标签做数据平衡,避免后续模型优化被多数群体主导;再对特征做去相关,削弱代理变量的影响;最后训练模型并在独立验证集上评估公平性和业务指标。需要注意的是,去相关操作应当只在训练集上拟合,验证集和测试集要用相同的变换逻辑,但不能提前看到这些数据,否则会造成数据泄露。
公平性评估不能只看整体准确率。常用的指标包括统计均等,即不同种族群体获得正类预测的比例是否接近;机会均等,即真实正样本中被正确识别出来的比例在不同群体间是否一致;等误报率,即真实负样本被误判为正类的比例是否接近。业务场景不同,侧重点也不同。例如医疗资源分配可能更关注机会均等,反欺诈场景则要严格控制误报率差异。
可以借助Fairlearn的可视化面板或指标函数快速计算这些差异。评估时要把公平性损失和准确率损失放在一起看,如果去相关后整体准确率下降5%,但群体误判率差距从20%缩小到3%,这种代价通常是值得的。如果模型在某个群体上的表现始终无法提升,可能意味着数据中的历史偏差已经严重到需要重新设计标签或收集新的数据,而不是继续依赖算法修修补补。
总结来说,解决种族偏见需要同时关注数据分布和特征相关性。数据平衡解决数量层面的不平衡,去相关解决代理信息层面的隐性依赖。两者配合再辅以公平性指标监控,能显著降低模型对种族敏感属性的依赖程度,同时尽量避免牺牲过多业务性能。