上下文异常是指数据的数值本身处于正常区间，但在特定的上下文环境（如时间、关联变量状态等）下属于不合理的情况，比如夏季某天的气温是20度属于正常范围，但如果是冬季同一地区出现20度就属于上下文异常。条件概率法通过计算在特定上下文条件下数据出现的概率，判断该数据是否为异常，是一种适合处理这类场景的检测方法。
条件概率法的核心原理
条件概率法的核心逻辑是：对于给定的数据点，先确定其对应的上下文条件集合C，再计算在该上下文条件下该数据点取值出现的概率P(x|C)。如果P(x|C)低于预设的阈值，就认为该数据点属于上下文异常。
这里的上下文条件可以根据业务场景灵活定义，比如时间序列场景中可以将前后时间窗口内的数据状态作为上下文，设备监测场景中可以将同设备的其他传感器读数作为上下文。
Python实现步骤
1. 数据准备与上下文定义
首先加载待检测的数据集，根据业务场景定义每个数据点的上下文范围。以下示例使用模拟的时间序列数据，将每个时间点前后3个时间步的数据作为上下文。
import numpy as np
import pandas as pd
# 生成模拟时间序列数据，正常数据围绕25波动，上下文异常点数值正常但上下文不匹配
np.random.seed(42)
time_steps = 100
normal_data = 25 + np.random.normal(0, 2, time_steps)
# 构造上下文异常：第50个时间点数值是25，但前后3个时间点都是30，属于上下文异常
normal_data[47:51] = [30, 30, 30, 25, 30, 30, 30]
df = pd.DataFrame({'value': normal_data, 'time': pd.date_range('2024-01-01', periods=time_steps, freq='H')})
# 定义上下文窗口大小
context_window = 3
2. 上下文条件概率计算
这里采用核密度估计的方法计算条件概率，先提取每个数据点的上下文特征，再计算在上下文特征下当前取值的概率密度。
from sklearn.neighbors import KernelDensity
def calculate_conditional_probability(data, context_window):
# 存储每个数据点的条件概率
cond_probs = []
for i in range(len(data)):
# 提取上下文数据：前后context_window个时间点的数据
start = max(0, i - context_window)
end = min(len(data), i + context_window + 1)
context_values = data[start:end]
# 排除当前点本身，避免数据泄露
context_values = context_values[context_values != data[i]]
if len(context_values) == 0:
cond_probs.append(1.0)
continue
# 用核密度估计计算上下文的分布
kde = KernelDensity(kernel='gaussian', bandwidth=0.5).fit(context_values.reshape(-1, 1))
# 计算当前点在上下文分布下的概率密度
prob = np.exp(kde.score_samples(np.array([[data[i]]])))
cond_probs.append(prob[0])
return np.array(cond_probs)
# 计算所有数据点的条件概率
df['cond_prob'] = calculate_conditional_probability(df['value'].values, context_window)
3. 异常阈值设定与结果判断
通过设定条件概率的阈值，低于阈值的数据点判定为上下文异常。阈值可以通过统计正常数据的条件概率分布来确定，比如取正常数据条件概率的5%分位数作为阈值。
# 设定阈值：取条件概率的5%分位数作为异常阈值
threshold = np.percentile(df['cond_prob'], 5)
df['is_anomaly'] = df['cond_prob'] < threshold
# 输出异常点信息
anomaly_points = df[df['is_anomaly']]
print(f"检测到的上下文异常点数量：{len(anomaly_points)}")
print(anomaly_points[['time', 'value', 'cond_prob']])
方法优化方向
上述基础实现可以根据实际场景做进一步优化：
- 上下文特征可以加入更多维度，比如除了时间窗口内的数值，还可以加入时间特征、关联变量的状态等，提升条件概率计算的准确性。
- 核密度估计的带宽参数可以通过交叉验证的方式调优，避免过拟合或欠拟合。
- 对于高维上下文场景，可以先对上下文特征做降维处理，再计算条件概率，降低计算复杂度。
适用场景说明
条件概率法适合上下文条件明确、上下文与当前数据关联性较强的场景，比如时间序列异常检测、设备多传感器数据异常检测等。如果上下文条件难以明确界定，或者上下文与当前数据的关联性较弱，该方法的检测效果会有所下降，需要结合其他异常检测方法共同使用。