空气质量监测站数据实时质控的核心，不是简单判断某个数值是否超标，而是判断每条记录能否进入后续分析链路。站点上传的浓度值会受到传感器状态、通信链路、校准周期、气象条件和运维操作影响，可能出现缺失、跳变、恒值、漂移、负值、量程外以及与其他因子不一致等问题。基于R构建质控链路，可以把规则判断、统计检测、质量标记、告警推送和人工复核连接起来，使原始观测数据在进入数据库和预警模型之前完成可信度分级。
实时质控要先把数据可信度问题拆开
做空气质量数据质控时，常见误区是把问题理解成超标筛选。真正影响平台可信度的是数据是否可解释。例如某站PM2.5突然升高，可能是污染过程，也可能是采样管路受潮、仪器校准偏移或通信补数造成的异常。若没有质控码，后续统计会把设备故障当成环境质量变化，导致日报、排名和预警失真。
因此，实时质控要区分几类情况。第一类是格式和完整性问题，如时间戳缺失、字段错位、重复上报。第二类是物理范围问题，如负浓度、超过仪器量程、湿度超过百分之百。第三类是时间连续性问题，如长时间恒值、分钟级跳变、数据断崖。第四类是多因子一致性问题，如风速很低却出现异常扩散，或相邻站点趋势明显背离。
R在这类任务中的优势是数据处理生态成熟。用data.table可以高效处理站点时序记录，用lubridate处理时区和时间窗口，用ggplot2和leaflet做质控结果展示，也可以用plumber把质控结果封装成接口。对环保网络来说，关键不是追求单一算法，而是形成可配置、可回放、可追责的流水线。
用R完成接入、清洗和标准化
数据接入阶段要先统一字段。不同设备厂商可能使用不同字段名，甚至不同单位。进入R之前，最好通过配置表把原始字段映射为标准字段，例如站点编号、观测时间、污染物、浓度值、设备状态、温度、湿度、风速、风向。字段统一后，才能进行跨站点、跨项目的比较。
时间处理尤其重要。监测数据通常带有站端时间或平台接收时间，若时区不一致，会把小时均值算错。实时质控一般以观测时间为准，并按站点、污染物和时间排序。重复记录需要按业务主键去重，缺失记录要单独标记，不能直接用零值填充。
library(data.table)
library(lubridate)
raw <- fread("station_obs.csv")
raw[, obs_time := ymd_hms(obs_time, tz = "Asia/Shanghai")]
raw <- unique(raw, by = c("station_id", "obs_time", "pollutant"))
numeric_cols <- c("pm25", "pm10", "so2", "no2", "co", "o3", "temp", "rh", "ws")
raw[, (numeric_cols) := lapply(.SD, as.numeric), .SDcols = numeric_cols]
raw[is.na(obs_time), qc_flag := 4]
raw[!is.na(obs_time) & is.na(pm25), qc_flag := 4]
这段代码完成基础清洗：解析时间、按站点和时间去重、把指标转成数值，并对缺失观测打上质控码。这里的质控码只是一个起点，后续还会叠加范围检查、变化率检查和统计异常检查。实际项目中建议把质控码设计成枚举值，例如1表示合格，2表示可疑，3表示异常，4表示缺失或无效，9表示人工复核后修正。
规则引擎：阈值、变化率和一致性检查
固定阈值是最基础的质控规则。它的作用不是判断污染是否超标，而是判断数据是否超出物理或仪器可解释范围。比如颗粒物浓度通常不应为负，湿度不应超过百分之百，风向应在零到三百六十度之间。此类规则简单、可解释，适合放在流水线前端。
range_flag <- function(x, min_val, max_val) {
ifelse(is.na(x), 4, ifelse(x < min_val | x > max_val, 3, 1))
}
raw[, pm25_range_flag := range_flag(pm25, 0, 1000)]
raw[, rh_range_flag := range_flag(rh, 0, 100)]
raw[pm25_range_flag == 3, qc_flag := 3]
变化率规则用于捕捉突变和停滞。空气质量变化通常具有连续性，若相邻时次浓度差超过设备响应能力，就需要标记为可疑。反过来，若某站连续多个时次数值完全相同，也可能是传感器卡值或通信缓存未刷新。此类规则需要结合站点类型和污染物特性设置阈值，不能全网一刀切。
setorder(raw, station_id, pollutant, obs_time) raw[, pm25_prev := shift(pm25, 1L), by = .(station_id, pollutant)] raw[, pm25_jump := abs(pm25 - pm25_prev)] raw[!is.na(pm25_jump) & pm25_jump > 150, qc_flag := 2] raw[, pm25_same := pm25 == pm25_prev] raw[, same_count := sum(pm25_same, na.rm = TRUE), by = .(station_id, pollutant, hour(obs_time))] raw[same_count >= 10, qc_flag := 2]
一致性检查更能体现智慧环保网络的价值。单看一个数值可能正常，但结合温度、湿度、风速和相邻站点就能发现问题。例如高湿条件下颗粒物浓度异常偏低，可能提示采样加热装置故障；静风条件下污染物快速下降，可能提示仪器维护或数据中断；相邻站点趋势长期背离，则可能是某台设备漂移。R中可以用分组统计、滚动相关和残差比较把这些异常转成可计算指标。
统计异常检测与质量评分
规则引擎能拦截明显错误，却很难发现缓慢漂移。此时需要稳健统计方法。常用做法是对每个站点的污染物序列计算滚动中位数和滚动绝对中位差，再观察当前值偏离稳健基线的程度。相比均值和标准差，这种方法对极端值不敏感，更适合实时场景。
raw[, roll_med := frollmean(pm25, 24, align = "right", na.rm = TRUE), by = .(station_id, pollutant)] raw[, roll_mad := frollapply(pm25, 24, mad, na.rm = TRUE), by = .(station_id, pollutant)] raw[, z_robust := (pm25 - roll_med) / (roll_mad + 1e-6)] raw[abs(z_robust) > 4, qc_flag := 2]
如果站点数量较多，还可以引入多变量异常检测。比如把温度、湿度、风速、相邻站差值、设备运行时长作为特征，计算马氏距离、局部异常因子，或者使用孤立森林类算法给出异常分数。需要注意的是，模型输出不能直接替代质控码，而应作为可疑程度的一部分。环保数据有很强的季节性和区域性，模型上线前要用历史运维记录做回测。
质量评分是把多个信号汇总成可执行结论的过程。可以把范围检查、变化率、恒值、稳健偏离度、相邻站一致性、设备状态分别赋分，再按优先级合并。最终输出不应只是合格或不合格，而应保留原因码，方便运维人员判断是传感器故障、通信问题还是真实污染过程。
| 质控等级 | 含义 | 处理建议 |
|---|---|---|
| 1 | 通过全部基础检查 | 可进入统计和发布 |
| 2 | 统计偏离或趋势可疑 | 降权使用并触发复核 |
| 3 | 超出量程或突变明显 | 不参与均值计算 |
| 4 | 缺失或格式无效 | 记录断点并提醒运维 |
告警、可视化和运维闭环
实时质控如果只停留在离线脚本，价值会大打折扣。更好的方式是把质控逻辑部署成定时任务或接口服务。站点数据到达后，R脚本读取增量数据，执行规则和统计检测，把结果写入数据库，同时生成待复核清单。运维人员看到的不是抽象异常，而是具体站点、具体时间、具体规则和偏离程度。
# plumber API 示例
#* @get /qc/latest
function() {
latest_qc <- readRDS("latest_qc.rds")
latest_qc[qc_flag %in% c(2, 3)]
}
可视化是质控闭环的重要一环。用ggplot2可以绘制单站时间序列、质控码分布和异常原因统计；用leaflet可以在地图上显示站点健康状态；用shiny可以搭建复核台，让审核人员逐条查看异常曲线并填写处理意见。图形展示的重点不是美观，而是帮助判断异常是否具有空间一致性、时间连续性和设备关联性。
从长期运行看，实时质控需要持续迭代。每次设备校准、传感器更换、站点搬迁或极端天气，都会产生新的异常模式。质控系统应保留原始值、质控值、规则版本和人工复核记录，形成完整审计链。这样既能避免错误数据进入考核，也能在误报出现时快速定位规则来源。R在这里承担的不只是统计计算，更是连接数据、规则和运维流程的分析中枢。