知识库内部链接解析的难点在于链接关系隐藏在非结构化的自然语言里。传统做法依赖正则表达式或关键词匹配，只能处理那些显式出现的文档标题或固定编号，一旦作者用了同义词、缩写或者改写过的表述，规则就失效了。更麻烦的是，文档之间可能存在隐含的语义关联，比如两篇分别讲缓存穿透和缓存雪崩的文章，虽然彼此没有直接提及对方，但读者显然希望看到互相跳转的链接。Longcat AI 的方案放弃了人工规则，转用语言模型和图神经网络联合建模，让系统自己学习哪些文档之间应该存在链接。
具体来说，Longcat AI 把每篇文档表示成一个节点，文档中的实体、标题、标签作为节点的初始特征。内部链接则构成有向边，边上的权重表示链接的相关性强度。训练时，模型需要同时优化两个目标：一是让真实存在的链接对有更高的预测得分，二是让无关文档对保持低得分。这种双目标优化能够有效避免把所有文档都链接起来的退化情况。下面从技术实现的角度展开每个环节。
从文本到候选链接：实体识别与关系召回
解析内部链接的第一步是找出文档中值得被链接的锚文本。锚文本通常是文档标题、章节名或关键术语。Longcat AI 选用预训练的 BERT 变体做命名实体识别和关键词抽取，但并没有直接使用通用模型，而是在知识库已有链接数据上做了微调。已有链接中的锚文本和对应的目标文档标题构成了一组高质量的正样本，可以直接用于训练一个序列标注模型。这个模型能够识别出句子中哪个片段最有可能作为链接入口，而不仅仅是判断实体类型。
除了锚文本，还需要为每个锚文本生成候选目标文档。这里用到的是基于向量检索的召回方案。Longcat AI 用 sentence-transformers 把锚文本和所有文档标题、摘要编码到同一个向量空间，然后取余弦相似度最高的前 20 个文档作为候选集。向量检索的优势在于能处理同义改写，比如锚文本写的是内存淘汰策略，而目标文档标题是 Redis 缓存淘汰算法，字符串层面完全不同，但语义向量非常接近。这一步的召回率通常能达到 85% 以上，为后续的精排模型提供了充足且计算可控的候选集合。
召回之后需要精排。精排模型是一个双塔结构，左侧编码锚文本及其上下文，右侧编码候选文档的标题、摘要和正文前 500 字。两个塔的输出向量做点积并经过 sigmoid 得到链接概率。训练数据沿用已有链接作为正样本，再从同一批候选集中随机采样不相关的文档作为负样本。负采样比例控制在 1:5 左右，避免模型偏向输出低概率。这个精排模型可以理解为一种轻量级的链接预测器，只判断某一对锚文本和文档是否应该建立链接，不直接建模全局图结构。
图嵌入与链接预测：利用全局结构信息
精排模型只用了文本相似度，但知识库中还存在大量非对称的链接模式。例如从概念 A 链接到它的实现细节 B 很常见，反过来却不一定成立。这类结构信息需要借助图嵌入来捕捉。Longcat AI 使用 GraphSAGE 对知识库的链接图进行无监督训练，节点特征就是前面双塔模型输出的文档向量。GraphSAGE 的采样邻居机制让它可以扩展到百万级节点，训练时每个节点随机采样 25 个一阶邻居和 10 个二阶邻居，通过聚合邻居特征来更新节点表示。
训练完成后，每篇文档都会获得一个融合了局部文本和全局链接结构的嵌入向量。给定一个锚文本，系统先通过召回和精排得到候选文档列表，再用图嵌入计算锚文本所在文档（或锚文本对应的虚拟节点）与每个候选文档的嵌入距离，把距离作为额外特征加入最终的排序打分。这个特征往往能大幅提升召回排名中后段候选的准确率，因为文本相似度对短锚文本容易产生噪声，而图嵌入提供了一致的结构约束。
值得一提的是，图嵌入的训练目标并不要求预测链接是否存在，而是学习节点在局部结构中的角色。具体做法是让节点嵌入能够区分真实邻居和随机采样的负样本节点。Longcat AI 采用了基于二进制交叉熵的损失函数，负样本从全局图中按度数加权采样。这种目标使得图中经常被链接的文档在嵌入空间中自然聚拢，而那些虽然文本相似但极少互相链接的文档会被拉开距离，从而抑制了纯文本相似度带来的误链。
工程落地：训练、推理与冷启动处理
整个流水线可以拆成三个独立可扩展的模块：召回模块、精排模块和图嵌入模块。召回模块使用 Milvus 这样的向量数据库存储文档向量，支持毫秒级检索。精排模块用 ONNX Runtime 部署，单条推理耗时控制在 5 毫秒以内。图嵌入模块在离线阶段用 DGL 或 PyTorch Geometric 训练，训练完成后导出所有文档的嵌入向量到特征库，推理时只需做一次查表和内积运算。下面是精排模型的简化训练代码，帮助理解核心逻辑。
import torch
import torch.nn as nn
from transformers import AutoModel, AutoTokenizer
class LinkRanker(nn.Module):
def __init__(self, model_name="bert-base-uncased"):
super().__init__()
self.encoder = AutoModel.from_pretrained(model_name)
self.tokenizer = AutoTokenizer.from_pretrained(model_name)
self.proj = nn.Linear(self.encoder.config.hidden_size, 128)
self.dropout = nn.Dropout(0.1)
def encode(self, texts):
inputs = self.tokenizer(
texts, padding=True, truncation=True,
max_length=128, return_tensors="pt"
)
outputs = self.encoder(**inputs)
cls_vec = outputs.last_hidden_state[:, 0, :]
return self.proj(self.dropout(cls_vec))
def forward(self, anchor_texts, doc_texts):
anchor_vec = self.encode(anchor_texts)
doc_vec = self.encode(doc_texts)
scores = torch.sum(anchor_vec * doc_vec, dim=-1)
return torch.sigmoid(scores)
训练时，每个 batch 构造正负样本对。正样本从已有链接中抽取锚文本和对应目标文档的标题加摘要；负样本从同一锚文本对应的候选集中随机选择不相关的文档。损失函数使用二元交叉熵，优化器选 AdamW，学习率设为 2e-5，训练 3 个 epoch 左右即可收敛。需要注意的是，锚文本往往很短，有时只是一个术语，所以编码时最好拼接锚文本所在的句子上下文，否则语义信息不足会严重影响模型效果。
冷启动是知识库系统常见的问题。新加入的文档没有历史链接，图嵌入也无法直接给出有意义的表示。Longcat AI 的解法是先用精排模型对新文档和已有文档做纯文本相似度链接建议，待用户确认或点击后积累一批链接，再触发图嵌入的增量更新。增量更新只重新计算新节点及其邻居的嵌入，不需要全量重训，整体耗时控制在分钟级。这种渐进式冷启动策略既保证了新文档能快速获得链接，又不会破坏已有图结构的稳定性。
整个方案在生产环境中的关键指标是链接准确率和覆盖率。通过离线评测，Longcat AI 在内部测试集上将链接预测的精确率从纯文本相似度的 61% 提升到了 79%，覆盖率提升了 23 个百分点。更重要的是，解析出的链接带有概率得分，可以按阈值分档展示，让用户只看到高置信度的自动链接，避免信息过载。这套思路也可以迁移到企业 Wiki、帮助中心、API 文档等类似的知识管理场景中。
Longcat AI知识库内部链接链接预测修改时间：2026-09-20 13:44:57