生成式AI让内容变体呈指数级增长，审核不能只靠关键词黑名单或图像裸体检测。一条违规视频可能封面正常、音频带侮辱性词汇、画面短暂闪过暴力片段，单看任何一路信号都不足以判违规。多模态过滤的核心是把文本、图像、音频（有时还包括视频帧）放入统一特征空间，让模型学习跨模态的违规模式。例如模型需要理解“把某人照片和攻击性文字组合成海报”的行为本身构成仇恨言论，而不是只识别文字里有没有脏话。
多模态融合为什么比单模态更可靠
纯文本审核容易被拆字、拼音、同音替换绕过去，纯图像审核又无法理解画面中的文字内容。生成式AI经常生成一张看似正常但配文极具攻击性的图片，或者把违规文字嵌入到背景纹理中。模型如果只接收单路信号，召回率会明显下降。多模态融合通过让不同模态在特征层交互，能够捕捉到跨模态的不一致或组合风险。
工程上通常有双塔和单塔两种方案。双塔结构先分别用文本编码器和视觉编码器提取向量，再做拼接或注意力融合，好处是可以离线缓存图像向量，适合大规模初筛。单塔结构则把图片切块后与文本token拼接，直接输入Transformer做深度交互，判别效果更好但计算开销大。下面是一个双塔结构的简化实现，文本侧使用BERT，图像侧使用ViT，融合层输出三个任务的风险分。
import torch
import torch.nn as nn
from transformers import BertModel, ViTModel
class MultimodalSafetyModel(nn.Module):
def __init__(self, hidden_dim=768, num_labels=8):
super().__init__()
self.text_encoder = BertModel.from_pretrained("bert-base-chinese")
self.image_encoder = ViTModel.from_pretrained("google/vit-base-patch16-224")
self.cross_attention = nn.MultiheadAttention(embed_dim=hidden_dim, num_heads=8, batch_first=True)
self.classifier = nn.Sequential(
nn.Linear(hidden_dim * 2, hidden_dim),
nn.GELU(),
nn.Linear(hidden_dim, num_labels)
)
def forward(self, input_ids, attention_mask, pixel_values):
text_feat = self.text_encoder(input_ids=input_ids, attention_mask=attention_mask).last_hidden_state[:, 0, :]
image_feat = self.image_encoder(pixel_values=pixel_values).last_hidden_state[:, 0, :]
text_feat = text_feat.unsqueeze(1)
image_feat = image_feat.unsqueeze(1)
fused, _ = self.cross_attention(query=text_feat, key=image_feat, value=image_feat)
fused = fused.squeeze(1)
combined = torch.cat([text_feat.squeeze(1), fused], dim=-1)
logits = self.classifier(combined)
return logits
这个结构把文本向量作为查询，图像向量作为键和值，跨注意力模块可以有选择地关注图像中与文本相关的区域。分类器输出的8个logits可以对应细粒度标签，比如血腥、性暗示、仇恨言论等。实际训练时还可以在图像侧加OCR文字检测，把图片中的文字也送入文本编码器，这样可以覆盖“图片中嵌入文字”的变体。
细粒度标签与多任务损失设计
暴力、色情、仇恨言论不是三个简单的二分类标签。以暴力为例，至少需要区分血腥画面、武器展示、肢体冲突和虐待动物；色情需要区分性行为、裸露、性暗示和擦边内容；仇恨言论则需要识别种族攻击、地域歧视、宗教仇恨、性别侮辱等。不同细分类别对应的拦截策略不同，比如武器展示可能只在特定场景下允许，而血腥内容通常直接屏蔽。因此标签体系应当使用多热编码，一个样本可以同时命中多个类别。
多任务学习比训练三个独立模型更稳定，因为底层特征可以共享。损失函数一般用二元交叉熵，并为每个类别设置正样本权重，缓解类别不平衡。还可以引入焦点损失，让模型更关注难分样本。下面这段代码展示了如何计算带权重的多标签损失。
import torch.nn.functional as F
def compute_multilabel_loss(logits, targets, pos_weight):
loss = F.binary_cross_entropy_with_logits(
logits,
targets.float(),
pos_weight=pos_weight
)
return loss
# 假设 logits shape: (batch, 8)，targets 是 0/1 多热向量
# pos_weight 可以设为正负样本比例，例如 torch.tensor([3.0, 5.0, 2.0, 4.0, 6.0, 3.0, 5.0, 4.0])
焦点损失版本可以通过修改BCE的权重实现，或者自己实现sigmoid focal loss。除了分类损失，还可以增加跨模态对比损失：对正常的图文对拉近表示，对违规样本适当推远，但不要强行让不同违规类别在特征空间互相远离，因为擦边性暗示和色情内容本来就存在连续过渡。
风险阈值与业务指标怎么选
审核模型的离线准确率很容易失真，因为正常内容占比远高于违规内容。假如测试集里99%是正常内容，模型全部预测正常也能拿到99%准确率。因此更合理的指标是PR-AUC、ROC-AUC，以及在固定误杀率下的召回率。误杀正常内容会伤害用户体验，漏放违规内容会带来合规风险，两者代价不对称，需要根据业务场景选择阈值。
实际操作中可以先在验证集上扫描阈值，画出不同阈值下的召回率和误杀率曲线，然后选择满足误杀率上限的最高召回点。下面的代码演示了如何遍历阈值并记录每个点的召回和误杀。
import numpy as np
def evaluate_thresholds(probs, labels, thresholds):
results = []
for threshold in thresholds:
preds = (probs >= threshold).astype(int)
tp = ((preds == 1) & (labels == 1)).sum()
fp = ((preds == 1) & (labels == 0)).sum()
fn = ((preds == 0) & (labels == 1)).sum()
recall = tp / max(tp + fn, 1)
false_positive_rate = fp / max(fp + (labels == 0).sum() - fp, 1)
results.append((threshold, recall, false_positive_rate))
return results
# probs 是模型输出的风险概率，labels 是 0/1 标签
# thresholds = np.arange(0.05, 1.0, 0.05)
除了阈值，风险分最好经过温度缩放或Platt标定，让输出概率更接近真实概率。部署后还需要把低置信度样本送入人工审核队列，形成持续反馈闭环。模型不是终审，而是把人力集中在模糊地带。
部署时的性能优化与级联策略
多模态模型参数量大，如果每次请求都过完整模型，延迟和成本都很高。常见做法是用轻量规则或小模型先过滤掉明显正常和明显违规的内容，只有中间模糊样本才进入大模型。例如先用敏感词表和图像哈希做第一层，再用一个MobileNet级别的图像分类做第二层，最后才调用多模态Transformer模型。
对于已经审核过的图片，可以缓存其视觉特征向量。当用户修改了配文重新提交时，只需重新计算文本侧的特征，与缓存的图像特征做融合即可，能显著减少重复计算。部署时还可以使用ONNX Runtime或TensorRT进行量化，下面是一个导出ONNX的示例。
import torch
# model 是训练好的 MultimodalSafetyModel
# 准备一组虚拟输入用于导出，shape 需与实际一致
dummy_input_ids = torch.zeros(1, 128, dtype=torch.long)
dummy_attention_mask = torch.ones(1, 128, dtype=torch.long)
dummy_pixel_values = torch.zeros(1, 3, 224, 224)
torch.onnx.export(
model,
(dummy_input_ids, dummy_attention_mask, dummy_pixel_values),
"safety_filter.onnx",
input_names=["input_ids", "attention_mask", "pixel_values"],
output_names=["logits"],
dynamic_axes={
"input_ids": {0: "batch"},
"attention_mask": {0: "batch"},
"pixel_values": {0: "batch"},
"logits": {0: "batch"}
},
opset_version=17
)
级联策略还能结合视频帧采样：对长视频不必每秒都过图像模型，可以先抽关键帧，如果连续多帧命中同一风险类别再升级处理。这样既控制了算力，也降低了单帧误判带来的误杀。
多模态内容审核不是一个纯算法问题，还需要与产品策略、人工审核SLA、数据回流机制配合。模型输出的是风险信号，最终的处置规则要允许不同业务自定义阈值、标签映射和复审流程。生成式AI会让内容形态继续变化，模型结构也需要定期用新增违规样本做增量训练，保持对新型变体的敏感度。