自定义对象分类器通常以固定类别集合为训练目标，训练完成后对每张输入图像输出一个概率分布。很多人习惯用最高概率对应的类别作为最终结果，但在真实环境中，摄像头或上传图片可能出现训练时从未见过的物体、遮挡严重的局部图像或者完全无意义的纹理。如果分类器面对这些输入仍然强行给出最高分标签，系统就会产生看似合理实则错误的判断。提升鲁棒性的核心，是让分类器有能力识别出无匹配项场景并主动拒识，而不是被动地接受错误分类带来的业务损失。
一、固定类别分类器为什么会在无匹配项上栽跟头
自定义对象分类器最常见的实现方式是卷积特征提取器加一层全连接分类头，最后用softmax输出每个已知类别的概率。这种结构有一个天生的假设：输入一定属于预先定义好的类别集合之一。训练阶段只用已知类别样本计算交叉熵损失，模型被鼓励把正确类别的logit拉高，把错误类别的logit压低，但它从未见过一个标签叫都不是。因此推理时无论输入多离谱，softmax都会把所有logit压缩成加和为1的概率分布，总能选出一个最大项。
举个具体例子，如果三个已知类别得到的logit分别是-2.1、-2.3、-2.5，softmax之后最大概率仍然接近0.36，和随机猜测的0.33差不多，但业务代码如果只取argmax，就会把这个低分结果当成正常分类返回。更麻烦的是，某些模型对纯噪声图片也会输出0.9以上的置信度。这不是模型真的认识噪声，而是softmax只比较类别之间的相对大小，不关心绝对分数是否足够高。把softmax概率直接当作可信度，是无匹配项场景下误判的主要来源。
要解决这个问题，单靠提高训练精度是不够的。训练精度越高，模型对已知类别的边界越自信，但对边界之外的东西仍然没有判断能力。所以需要从拒识阈值、未知类别建模和特征距离等多个角度建立拒识机制，让系统在不确定时能够停下来，而不是强行交出一个答案。
二、从概率阈值开始：让模型学会说不知道
最直接的拒识方式是对分类器输出的最大概率设置阈值。如果最高类别概率低于阈值，就判定为无匹配项，返回未知或拒识。这个方法实现成本低，适合作为第一道防线。推理时先计算softmax概率，然后比较最大概率与阈值，低于阈值时不再返回类别索引，而是返回一个专门的拒识码。
import numpy as np
def predict_with_reject(logits, threshold=0.75):
logits = np.asarray(logits)
max_logit = np.max(logits)
logits = logits - max_logit
probs = np.exp(logits) / np.sum(np.exp(logits))
max_prob = float(np.max(probs))
pred_class = int(np.argmax(probs))
if max_prob < threshold:
return "unknown", max_prob
return pred_class, max_prob
阈值的选择不能拍脑袋。通常需要准备两类验证数据：一类是正常的已知类别样本，另一类是无匹配项样本，可以来自开放图片库、随机噪声或部署环境中的真实负样本。然后画出不同阈值下的拒识准确率、已知类别召回率曲线，根据业务对误判成本的容忍度选择阈值。比如零件缺陷检测中漏掉一个不合格品代价很高，就应选择较高召回率的阈值，哪怕多一些正常件被拒识后人工复核；而用户上传图片分类场景对误判容忍度稍高，可以适当降低拒识比例。
不过原始softmax概率经常没有被校准，它的大小不能完全代表真实正确率。温度缩放是一种轻量校准方法，通过在验证集上优化一个温度参数，把logits除以温度后再做softmax，可以让置信度更接近真实准确率。校准之后，阈值才更有参考价值。即使加了校准，阈值拒识仍然只依赖单点输出，无法理解特征空间的分布，因此还需要和后续策略配合。
import numpy as np
def temperature_scale(logits, temperature=2.0):
logits = np.asarray(logits)
scaled = logits / temperature
scaled = scaled - np.max(scaled)
probs = np.exp(scaled) / np.sum(np.exp(scaled))
return probs
三、把无匹配项当成显式类别来训练
阈值拒识依赖后处理，但模型本身没有关于未知类别的概念。更彻底的做法是在训练阶段就加入一个背景或未知类别，让分类头输出已知类别数加一。采集负样本时，可以把训练集中不存在的物体、无人场景的随机图像、经过剪切增强的纹理图等作为未知样本。当输入对象不属于任何已知类别时，模型会被训练成把未知类的logit拉高。
实现上，只需把数据标注中的未知样本统一映射到未知标签，类别数加一。需要注意的是，负样本数量通常远大于某个已知类别，容易导致模型倾向输出未知。为了避免这个问题，可以对损失函数做类别加权，或在每个批次中按比例采样已知和未知样本，让未知类占比保持在一个合理范围。
import tensorflow as tf
num_known_classes = 20
unknown_label = num_known_classes
num_classes = num_known_classes + 1
def build_model(input_shape):
inputs = tf.keras.Input(shape=input_shape)
base_model = tf.keras.applications.MobileNetV2(
include_top=False,
input_tensor=inputs,
pooling='avg'
)
outputs = tf.keras.layers.Dense(num_classes, activation='softmax')(base_model.output)
model = tf.keras.Model(inputs, outputs)
model.compile(
optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy']
)
return model
加入未知类后，模型能够显式地输出未知标签，无匹配项场景不再完全依赖阈值。但该方案也有边界：未知类只能覆盖训练时见过的负样本分布，真实世界中新的未知物体可能距离未知类簇也很远。所以通常还需要结合距离度量做二次判断，而不是只相信一个softmax未知类分数。
四、用特征距离判断输入是否在已知类簇之外
分类头输出的logits受类别间竞争影响，而特征向量本身包含更稳定的几何信息。对于每个已知类别，可以收集训练样本经过特征提取层后的向量，计算类中心。推理时把输入图像的特征与所有类中心比较，如果最近距离仍然超过一个统计阈值，就认为该输入属于无匹配项。
距离阈值可以从验证集统计出来。假设对已知类别样本计算它们到各自类中心的最大距离，取一个分位数作为阈值。无匹配项样本通常会落在更远的位置。使用余弦距离对特征尺度不敏感，适合卷积特征；马氏距离则考虑了特征维度的协方差，但计算成本更高。工程实现中通常先用余弦距离快速筛选，再对边界样本做精细判断。
import numpy as np
from scipy.spatial.distance import cdist
def reject_by_centroid(feature, class_centers, threshold=0.7):
feature = np.asarray(feature).reshape(1, -1)
class_centers = np.asarray(class_centers)
distances = cdist(feature, class_centers, metric='cosine')[0]
min_dist = float(np.min(distances))
pred_class = int(np.argmin(distances))
if min_dist > threshold:
return 'unknown', min_dist
return pred_class, min_dist
除了直接比较类中心，开放集识别中的OpenMax方法也值得了解。它先对每个类别的logit分布用Weibull拟合尾部，推理时根据输入到各类别支持向量的距离修正logit，并额外计算一个未知分数。如果未知分数最高，就拒识。相比普通中心距离，OpenMax能对类别边界的形状做更细致的建模，适合类别分布不平衡的场景。但它的实现和调参成本较高，初期可以先使用中心距离加阈值，后续再升级到OpenMax。
五、多级策略与人工审核闭环让拒识真正落地
实际业务中很少只用一条硬阈值从头拒到尾。更稳妥的做法是设置多级响应：置信度很高时直接返回结果；置信度中等但距离也较远时进入人工审核队列；置信度过低或距离明显异常时直接返回拒识码。这样可以在误判和人力成本之间取得平衡。返回给调用方的数据中应包含拒识原因，比如低置信度、特征距离过大或未知类被激活，方便下游记录和处理。
每次拒识都是一份免费的负样本。系统可以把被拒识的图片、当时的概率分布和特征距离写入日志，每天或每周对这些样本做聚类，找出频繁出现的新类别。如果某种未知物体反复出现，就把它标注为新的已知类别，下一轮训练时加入模型。经过几个迭代，分类器覆盖的类别会逐渐贴近实际环境，拒识率也会下降。
工程细节同样重要。返回拒识结果不能和异常错误混在一起，否则调用方会重试或告警。应该设计独立的状态码，例如0表示成功分类，1表示无匹配项，2表示需要人工审核。同时监控线上拒识率和人工复核准确率，如果拒识率突然飙升，往往说明环境光照变化、摄像头角度偏移或出现了新的物体类型，需要及时排查。这些机制叠加起来，才能让自定义对象分类器在面对未知输入时保持可靠。