文本相似度模型旨在判断两段文字在语义上接近的程度，在深度学习框架下通常转化为向量空间中的距离度量问题。与传统关键词重合方法不同，基于神经网络的方案能捕捉同义替换、句式变换等复杂对应关系。使用Python可以快速搭建从数据预处理到模型部署的完整链路，借助PyTorch或TensorFlow实现灵活的训练控制。
一、主流模型结构与训练策略
在Python深度学习中，训练文本相似度模型最常见的是Siamese双塔结构和交互式结构。双塔将两段文本分别编码为向量后再计算相似度，优点是文本向量可离线计算，适合海量候选召回；交互式如BERT交叉编码器，在输入阶段就让两段文本互相注意，精度更高但推理较慢。实际业务中常采用双塔做初筛、交互式做精排的两阶段方案。
训练数据构造直接决定模型上限。若只有正例 pair，需通过随机负采样生成负对，但简单随机负例太容易区分，模型学不到边界知识。更好的做法是难例挖掘：用当前模型挑出相似分较高却被标为负面的 pair 进行强化训练。以下代码展示基于PyTorch的难负例采样逻辑：
import torch
import torch.nn.functional as F
def hard_negative_mining(anchor_vec, pos_vec, neg_pool_vec, margin=0.3):
# anchor_vec: 锚文本向量 (1, dim)
# pos_vec: 正例向量 (1, dim)
# neg_pool_vec: 负例池 (n, dim)
with torch.no_grad():
sim_pos = F.cosine_similarity(anchor_vec, pos_vec)
sim_neg = F.cosine_similarity(anchor_vec, neg_pool_vec)
# 挑选与正例最靠近的负例作为难负例
hard_idx = (sim_neg > sim_pos - margin).nonzero(as_tuple=True)[0]
if len(hard_idx) == 0:
hard_idx = sim_neg.argmax().unsqueeze(0)
return neg_pool_vec[hard_idx]
# 示例张量
a = torch.randn(1, 128)
p = torch.randn(1, 128)
n_pool = torch.randn(50, 128)
hard_neg = hard_negative_mining(a, p, n_pool)
print(hard_neg.shape)
1.1 损失函数选择
对比学习损失如Triplet Loss要求锚点正例距离小于负例距离加间隔，实现简单但训练不够稳定。最近更多团队使用InfoNCE或带有阈值阈值的对比损失，把_batch内除正例外的样本都当负例，利用大量易负例提升泛化。对于标注为连续相似度分数的场景，可直接用MSE回归头预测分数，再用皮尔逊相关做验证。
下面给出一个简化的Triplet Loss训练步，展示如何在Python中组织优化过程：
import torch.nn as nn
triplet_loss = nn.TripletMarginLoss(margin=0.3)
def train_step(encoder, optimizer, a_text, p_text, n_text):
optimizer.zero_grad()
a_vec = encoder(a_text)
p_vec = encoder(p_text)
n_vec = encoder(n_text)
loss = triplet_loss(a_vec, p_vec, n_vec)
loss.backward()
optimizer.step()
return loss.item()
二、Python工具链与编码实践
使用HuggingFace Transformers可以用几行代码加载中文BERT或RoBERTa作为编码器基座。对于算力受限的团队，可先训练基于LSTM的基线模型，再用蒸馏把大模型知识迁移到小模型。Python的tokenizers库支持并行分词，能显著缩短数据准备时间。
下列代码演示用transformers提取句向量的基础用法，注意池化方式对相似度任务影响很大，通常取最后一层CLS向量或平均池化：
from transformers import AutoModel, AutoTokenizer
import torch
model_name = 'bert-base-chinese'
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name)
def encode(text):
inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True, max_length=64)
with torch.no_grad():
out = model(**inputs)
# 平均池化隐藏状态
vec = out.last_hidden_state.mean(dim=1)
return vec
v1 = encode('如何退换货')
v2 = encode('我想退货怎么操作')
sim = F.cosine_similarity(v1, v2)
print(sim)
2.1 评估与阈值设定
模型上线前需在验证集上绘制ROC曲线，结合业务误判成本选定相似度阈值。例如客服机器人把不相关问题误判为相似会比漏召更糟糕，此时应调高阈值。Python的scikit-learn提供roc_curve与precision_recall_curve可直接复用。
建议把评估指标写成自动化脚本，每次训练完输出准确率、召回率及不同阈值下的F1，避免人工肉眼比对。这样在多轮难例挖掘后能清晰看到边际收益。
三、典型应用场景
在客服问答系统中，用户问题先经双塔模型从知识库召回Top20候选，再用交互式模型重排，可把人工配置的规则量降低七成。论文查重场景对精度要求极高，通常采用句级相似聚合文档级相似，并配合指纹算法防长文本攻击。商品去重则更看重召回，因为重复商品漏判会直接导致平台体验下降，可放宽阈值并接人工复核队列。
以下表格对比三种场景的核心诉求：
| 场景 | 精度要求 | 召回要求 | 推荐结构 |
|---|---|---|---|
| 客服问答 | 高 | 中 | 双塔+交叉编码 |
| 论文查重 | 极高 | 低 | 交互式为主 |
| 商品去重 | 中 | 高 | 双塔+人工 |
3.1 部署注意事项
双塔模型的文本向量可预先算好存入向量数据库，线上只需做近邻检索，Python端用faiss或milvus客户端即可。交互式模型建议批处理请求，避免频繁启动推理会话。若业务在私有环境，镜像内应固定numpy与torch版本，防止动态链接异常。
训练好的相似度模型不是一成不变，当业务新增品类或用户说法迁移时，需定期用新日志做增量难例训练，保持向量空间与现状一致。