做AI模型训练时，数据质量往往比算法本身更能决定最终效果。而数据质量中最让人头疼的一环就是异常值：一条量纲错误的传感器读数、一笔重复写入的交易记录，都足以让损失函数在某个batch上突然飙升。这篇教程会用Python从头到尾演示几套实用的异常检测方案，包括基于统计的快速筛查、基于机器学习的无监督算法，以及面向深度学习训练过程的动态监测思路，代码可以直接复用到你自己的项目里。
一、先搞清楚异常的两种类型
在动手写代码之前，必须先分清楚你面对的是哪种异常，因为不同类型的异常适用的算法完全不同。第一种是点异常，即单个样本本身的取值明显偏离正常范围，比如温度传感器突然读到500度，这种异常最容易识别。第二种是上下文异常和集体异常，单个点看起来正常，但出现在错误的时间点或以错误的组合形式出现，比如凌晨三点出现一笔大额交易，孤立地看金额没问题，结合时间上下文就是可疑的。
举个例子，在工业设备的振动数据中，单次振幅0.8mm可能完全正常，但如果连续50个采样点都维持在0.8mm且毫无波动，这就属于集体异常——设备很可能已经卡死。很多新手只盯着数值大小做筛查，漏掉的恰恰是后两类异常。因此在实现方案上，除了统计方法，还需要引入基于密度和基于聚类的无监督算法。
另外要提醒一点：异常检测的评估和普通分类任务不同。真实场景中异常样本极其稀少，往往只占0.1%到1%，准确率这个指标会严重失真——哪怕把所有样本都判为正常，准确率也能达到99.9%。所以后面评估环节要使用精确率、召回率以及两者的调和平均F1值，必要时还要看ROC-AUC曲线。
二、数据预处理与基于统计的快速筛查
任何异常检测的第一步都是数据清洗和标准化。异常值本身会污染均值和标准差的计算，所以标准化的顺序有讲究：推荐先用中位数和四分位距做鲁棒标准化，避免异常值把正常数据的分布拉歪。
import numpy as np import pandas as pd from sklearn.preprocessing import RobustScaler # 构造一份带异常的模拟数据 rng = np.random.default_rng(42) normal_data = rng.normal(loc=50, scale=5, size=(1000, 3)) outliers = rng.uniform(low=120, high=200, size=(20, 3)) X = np.vstack([normal_data, outliers]) # 鲁棒标准化：用中位数和四分位距，抗异常干扰 scaler = RobustScaler() X_scaled = scaler.fit_transform(X) print(X_scaled.shape) # (1020, 3)
标准化完成后，最快速的筛查手段是Z-Score和IQR两种统计方法。Z-Score衡量的是样本偏离均值多少个标准差，通常阈值取3；IQR方法则以四分位距为基准，把超出Q1减1.5倍IQR或Q3加1.5倍IQR的点视为异常。
def detect_by_zscore(data, threshold=3.0):
z = (data - data.mean(axis=0)) / data.std(axis=0)
# 任一维度超阈值即判定为异常
mask = (np.abs(z) > threshold).any(axis=1)
return mask
def detect_by_iqr(data, k=1.5):
q1 = np.percentile(data, 25, axis=0)
q3 = np.percentile(data, 75, axis=0)
iqr = q3 - q1
lower, upper = q1 - k * iqr, q3 + k * iqr
mask = ((data < lower) | (data > upper)).any(axis=1)
return mask
mask_z = detect_by_zscore(X)
mask_i = detect_by_iqr(X)
print("Z-Score检出:", mask_z.sum(), "IQR检出:", mask_i.sum())这两种方法的优点是计算开销几乎为零，可以在数据入库或模型训练前的流水线里实时运行。缺点也很明显：它们假设数据近似服从正态分布，一旦数据本身是多峰分布或者存在强非线性结构，误报率会急剧上升。所以统计方法适合作为第一道粗筛，后面还需要更强的算法来兜底。
三、无监督机器学习算法实战：孤立森林、LOF与DBSCAN
当数据维度升高、分布复杂时，就要请出真正的异常检测主力算法了。scikit-learn提供了三个最常用的选择：孤立森林、局部离群因子和DBSCAN，三者的原理和适用场景各不相同。
孤立森林的核心思想非常巧妙：异常点由于取值稀少，只需要很少的随机切分就能被单独隔离出来，而正常点需要更多次切分才能被隔离。算法通过随机特征和随机分割点递归切分数据，用平均隔离路径长度作为异常评分。它的时间复杂度接近线性，处理百万级数据毫无压力。LOF则从密度角度出发，计算每个点邻域的局部密度与邻居的局部密度之比，比值远大于1说明该点比邻居稀疏得多，属于异常。DBSCAN基于密度聚类，任何无法归入任何簇的点都会被标记为噪声，天然就是一个异常检测器。
from sklearn.ensemble import IsolationForest
from sklearn.neighbors import LocalOutlierFactor
from sklearn.cluster import DBSCAN
# 孤立森林：contamination表示异常比例的先验估计
iso = IsolationForest(n_estimators=200, contamination=0.02,
random_state=42)
labels_iso = iso.fit_predict(X_scaled)
# 返回-1表示异常，1表示正常
# 局部离群因子：novelty=False时只能对训练数据本身做检测
lof = LocalOutlierFactor(n_neighbors=20, contamination=0.02)
labels_lof = lof.fit_predict(X_scaled)
# DBSCAN：eps需要结合k距离图来选择
db = DBSCAN(eps=0.5, min_samples=10)
labels_db = db.fit_predict(X_scaled)
# 标签为-1的样本即为噪声点（异常）
print("孤立森林检出:", (labels_iso == -1).sum())
print("LOF检出:", (labels_lof == -1).sum())
print("DBSCAN检出:", (labels_db == -1).sum())参数调优方面有几个经验值得分享。contamination参数是对异常比例的先验估计，如果业务上知道脏数据约占2%，直接设置即可；完全没把握时可以先设一个偏小的值，宁可漏检也别大量误杀正常样本，因为把正常样本当异常剔除同样会伤害模型。DBSCAN的eps不要凭感觉填，正确做法是计算每个点到第k近邻的距离并排序绘图，曲线拐点处的距离就是合适的eps值。
四、深度学习训练过程中的动态异常监测
前面讲的是对输入数据的检测，另一个同样重要的场景是监测训练过程本身。训练深度网络时，如果某个batch混入了损坏的样本，损失会突然出现尖峰；如果学习率设置不当，损失曲线会持续震荡。靠人眼盯着TensorBoard并不现实，可以在训练循环里加入自动化监测逻辑。
一种实用的做法是维护一个滑动窗口记录最近N个batch的损失值，当新batch的损失超出窗口均值加若干倍标准差时触发告警，并自动跳过或降低该batch的学习率。这套机制实现简单，却能有效防止个别坏batch破坏已经收敛到一定程度的参数。
import torch
class LossMonitor:
def __init__(self, window_size=50, k=4.0):
self.window_size = window_size
self.k = k
self.history = []
def check(self, loss):
if len(self.history) >= self.window_size:
arr = torch.tensor(self.history)
mean, std = arr.mean(), arr.std()
if loss > mean + self.k * std:
return True # 判定为异常batch
self.history.append(float(loss))
if len(self.history) > self.window_size:
self.history.pop(0)
return False
# 训练循环中的用法
monitor = LossMonitor(window_size=50, k=4.0)
for batch_x, batch_y in dataloader:
loss = compute_loss(model(batch_x), batch_y)
if monitor.check(loss.item()):
print("检测到异常batch，跳过本次更新")
continue
loss.backward()
optimizer.step()
optimizer.zero_grad()如果数据是时序形态，比如传感器流数据，还可以训练一个自编码器，让模型只学习正常模式的重建。推理时计算重建误差，误差超过阈值即判定为异常。这种方法的阈值通常设定为验证集上重建误差的95分位数，好处是不需要任何异常标签，坏处是需要较多正常样本做训练，且对数据分布漂移敏感，建议定期用新数据重新拟合。
五、多模型融合与方案选型建议
单一算法都有各自的盲区，工程实践中更推荐做融合：让孤立森林、LOF、DBSCAN同时对数据打分，把归一化后的异常评分加权平均，或者采用投票制——至少两个算法判定为异常才最终剔除。融合方案能显著降低误报率，代价是计算开销增加，但对离线数据清洗来说完全可接受。
from scipy.stats import rankdata
# 将三种算法的输出转换为0到1之间的异常评分并融合
score_iso = -rankdata(iso.score_samples(X_scaled)) / len(X)
score_lof = -rankdata(lof.negative_outlier_factor_) / len(X)
# DBSCAN标签转评分：噪声点记1，其余记0
score_db = (labels_db == -1).astype(float)
final_score = 0.4 * score_iso + 0.3 * score_lof + 0.3 * score_db
final_mask = final_score > np.quantile(final_score, 0.98)
print("融合方案检出异常:", final_mask.sum())最后给一个简单的选型参考：数据量小且分布接近正态，用Z-Score或IQR即可；表格型数据的中等规模场景，孤立森林是首选；数据有明显簇结构且密度不均，选LOF或DBSCAN；时序流数据则优先考虑自编码器加重建误差阈值。无论选哪条路线，都记得保留被剔除样本的日志，定期人工抽检，异常检测本身也会随数据分布变化而需要迭代调整。
Python异常检测机器学习孤立森林修改时间：2026-09-05 21:39:09