
关系抽取的难点从来不在于“一对一”的简单情况,而在于一个句子中多个关系交织在一起。比如“张三和他的儿子李四共同创办了北京某科技公司”,这里面“张三-李四”存在父子关系,“张三-公司”和“李四-公司”都存在创办关系,而且“张三”和“李四”作为实体同时参与了多个关系。如果采用先识别实体、再对实体两两分类的流水线方式,第一步漏掉任何一个实体,后面的关系就全部丢失;就算实体都识别出来了,两两组合还会产生大量负样本,训练时正负比例严重失衡。联合抽取模型把实体识别和关系分类放在同一个网络里一起优化,配合指针网络来定位实体和关系的起止位置,能在一定程度上缓解这些问题。
为什么表填充方法可以天然表达重叠关系
早期基于表填充的联合抽取方案把关系抽取看成填一张二维表:表的行和列分别对应句子中的每个token,单元格中的标签表示该行token到该列token之间是否存在某个关系。这种做法有一个很直观的好处——同一个实体可以出现在多行或多列中,不需要显式地“先识别出实体再配对”。例如上面句子中“张三”这个实体占据第1到第2个token,那么它在表中对应的行区间就可以同时被标记为“父子关系”的subject起始位置和“创办关系”的subject起始位置,不存在互相排斥的问题。
但表填充也有明显短板。如果句子长度为n,表的大小就是n×n,对于长文本计算量很大,而且大多数单元格都是空标签,浪费严重。后来有人提出用指针网络来简化,只预测每个关系的subject和object的起始与结束位置,相当于从“填整张表”变成“找几个关键点”。指针网络输出的是一组概率分布,每个位置对应一个起止概率,解码时用阈值或者argmax选出具体起止位置,这样既能处理重叠,又不需要维护一个 n² 的矩阵。
指针网络的核心思路是:对于每个预定义的关系类型,分别预测subject的头指针、subject的尾指针、object的头指针、object的尾指针。四个指针序列长度都等于句子token数。假设关系类型集合为R,那么输出层就需要4×|R|个指针序列。训练时对每个正样本,让对应关系的四个起止位置上的概率趋近于1,其余位置趋近于0。重叠关系自然被拆成多个独立的正样本,不同关系之间完全解耦。
指针网络如何处理SingleEntityOverlap和EntityPairOverlap
关系重叠通常分为两类:SingleEntityOverlap指一个实体同时与多个实体存在关系,但实体对之间不重复;EntityPairOverlap指同一对实体之间存在多个关系。指针网络对这两类重叠的兼容性来自它的“头尾分离”设计。以EntityPairOverlap为例,“张三和李四共同创办并投资了某公司”,假设“张三-李四”之间既有“合作”关系又有“同事”关系,指针网络会为“合作”关系预测一次起止位置,“同事”关系再预测一次起止位置。两次预测的subject起止位置完全相同,object起止位置也完全相同,但输出层是分开的,所以模型可以同时给出两个标签,不会像softmax多分类那样只能选一个。
具体代码实现上,通常会使用BERT或BiLSTM作为编码器,得到每个token的隐藏向量h_i。然后对每个关系r,分别通过四个不同的前馈网络计算指针分数:
import torch
import torch.nn as nn
class PointerNet(nn.Module):
def __init__(self, hidden_size, num_relations):
super().__init__()
self.num_relations = num_relations
# 四个独立的线性层,分别预测 subject head, subject tail, object head, object tail
self.sub_head_fc = nn.Linear(hidden_size, num_relations)
self.sub_tail_fc = nn.Linear(hidden_size, num_relations)
self.obj_head_fc = nn.Linear(hidden_size, num_relations)
self.obj_tail_fc = nn.Linear(hidden_size, num_relations)
def forward(self, hidden_states):
# hidden_states: [batch_size, seq_len, hidden_size]
sub_head_logits = self.sub_head_fc(hidden_states) # [batch, seq_len, num_relations]
sub_tail_logits = self.sub_tail_fc(hidden_states)
obj_head_logits = self.obj_head_fc(hidden_states)
obj_tail_logits = self.obj_tail_fc(hidden_states)
return sub_head_logits, sub_tail_logits, obj_head_logits, obj_tail_logits
解码时对每个关系类型r,从sub_head_logits中取出该关系对应的列,做sigmoid得到subject起始位置概率,用阈值0.5判断哪些token是subject起点,同理得到subject终点、object起点和终点。然后把起点和终点两两配对,取概率乘积最大的组合作为该关系的实体span。如果同一个token同时是多个关系的subject起点,那么它在多个关系的sigmoid输出上都可能大于阈值,这天然支持了SingleEntityOverlap。
不过指针网络也有一个需要注意的问题:subject和object的起止位置是独立预测的,有可能出现“起点在终点后面”或者“跨度过长”的不合理情况。一般会在解码时加入约束,比如强制起点位置索引小于等于终点位置索引,或者限制实体最大长度。训练时也可以加入一个辅助的span分类损失来缓解。
级联二元标注、多头选择与指针网络的对比
级联二元标注(CasRel)是另一种处理重叠关系的经典方案。它先预测所有可能的subject,然后对每个subject候选,再预测该subject对应的所有关系和object。这种“先找subject再找object”的思路同样能处理重叠,但它把subject识别和object识别分成了两个阶段,第二阶段依赖第一阶段的输出,存在误差传播风险。而且如果subject识别漏掉了,后面所有关系都找不回来。指针网络则是把所有subject和object的起止位置一次性并行输出,不需要显式的阶段依赖,但输出层参数量会随着关系数量线性增长。
多头选择(Multi-Head Selection)的方法则是在每个token对上做多标签分类,token i 和 token j 之间可以同时存在多个关系标签。它的输出是一个 [seq_len, seq_len, num_relations] 的张量,这与表填充类似,但只对“实体边界token对”做分类,计算量比全表填充小。指针网络可以看成一个稀疏化的多头选择:它不关心所有token对,只关心每个关系的头尾指针位置。从训练数据角度看,指针网络需要标注头尾指针位置,而多头选择需要标注所有相关的token对,后者的标注成本更高。
实际项目中如果关系数量较少(比如10个以内),指针网络的效果和训练速度都比较理想;如果关系数量很大,输出层过宽可能导致每个指针序列的区分度下降,这时可以考虑对关系做聚类或者使用基于prompt的抽取方式。还有一个工程上的细节:指针网络的损失函数通常使用二分类交叉熵,而不是softmax交叉熵,因为每个位置的指针预测是独立的二分类问题,softmax会强制所有位置概率和为1,不适合多个位置同时为1的重叠场景。
最后值得强调的是,指针网络并非万能。它在处理嵌套实体、不连续实体时依然比较吃力,因为头尾指针只能覆盖连续的span。但不连续实体在实际文本中出现频率较低,大多数业务场景下连续span已经足够。如果你正面临关系抽取中的重叠问题,不妨从指针网络入手,配合一个较强的预训练编码器,往往能快速搭建起一个可用的基线系统。