做向量检索的同学大概都遇到过这样的困惑:明明用了效果不错的嵌入模型,算出来的相似度排序却和人工判断的语义相关性对不上;或者换了一个距离度量,召回结果的质量明显下降。这类问题十有八九不是模型的问题,而是出在两个容易被忽视的环节上——向量是否做了归一化,以及距离度量的选择是否和场景匹配。这篇文章就把这两个问题讲透。

先搞清楚:向量的模长和方向各代表什么
一个向量有两个基本属性:模长和方向。余弦相似度只关心方向,也就是两个向量之间的夹角,取值范围是-1到1,方向完全一致时为1,正交时为0,完全相反时为-1。而欧氏距离(L2距离)同时受模长和方向的影响,两个方向相同但模长差距很大的向量,欧氏距离依然会很大。
这一点在嵌入模型里非常关键。有些模型(比如早期版本的某些句向量模型)输出的向量模长会携带信息量:训练语料越丰富的句子,向量模长可能越大。如果你直接用点积做相似度,模长大的向量会天然占据优势,导致召回结果偏向长文本或者高频词文本,而不是真正语义相近的内容。
所以在动手调优之前,先检查一下你的向量分布。用一个简单脚本把库里所有向量的模长打出来看看,如果模长差异很大(比如从2到20都有),那说明原始向量不适合直接做点积检索,要么归一化,要么换度量方式。
归一化为什么能解决大部分相似度失真问题
归一化的操作很简单,把向量除以它自己的模长,让它变成单位向量:
import numpy as np
def normalize(vectors):
"""L2归一化:除以模长,变成单位向量"""
norms = np.linalg.norm(vectors, axis=1, keepdims=True)
# 防止除零,给零向量加一个极小值
norms = np.maximum(norms, 1e-12)
return vectors / norms
vecs = np.array([[3.0, 4.0], [1.0, 0.0]])
print(np.linalg.norm(normalize(vecs), axis=1))
# 输出: [1. 1.],全部变成单位向量归一化之后会发生一件很妙的事情:欧氏距离和余弦相似度变成单调等价关系。推导很简单,对于两个单位向量a和b,它们的欧氏距离平方可以展开:
# ||a - b||^2 = ||a||^2 + ||b||^2 - 2*a·b # 归一化后 ||a|| = ||b|| = 1,所以: # ||a - b||^2 = 2 - 2*cos(theta) # 即:欧氏距离 = sqrt(2 - 2*cos(theta))
也就是说,归一化之后,欧氏距离越小当且仅当余弦相似度越大,两种度量给出的排序完全一致。这就解释了为什么很多向量数据库(比如Milvus、Faiss的IVF索引)默认要求用户先想清楚用L2还是内积——如果向量是归一化的,两者可以互换;如果没归一化,结果可能天差地别。
但归一化也有需要注意的地方。第一,零向量无法归一化,实际工程里要加保护;第二,归一化会丢掉模长信息,如果你的场景里模长本身有意义(比如推荐系统里用户活跃度编码在模长里),强行归一化反而损失信息;第三,查询向量和库内向量必须用同样的方式处理,只归一化一边是常见的低级错误。
三种度量的选型:欧氏距离、余弦相似度、点积
这三种度量并不是随便挑一个就行,它们各自有明确的适用边界。点积等于余弦相似度乘以两个模长的乘积,所以它是一个“方向加模长”的混合度量。
| 度量方式 | 关注的信息 | 推荐场景 | 注意事项 |
|---|---|---|---|
| 余弦相似度 | 仅方向 | 文本语义检索、问答匹配 | 需要归一化后用点积加速 |
| 欧氏距离 | 方向加模长 | 聚类、图像特征匹配 | 量纲不一致时要先标准化 |
| 点积 | 方向加模长 | 推荐系统、某些训练目标就是点积的模型 | 未归一化时模长会干扰排序 |
| 归一化后的点积 | 仅方向 | 等价于余弦相似度,性能最好 | 两边都要归一化 |
一个实用的工程技巧是:如果你的目标是余弦相似度,最优做法是预先把库内向量全部归一化,查询时对查询向量也归一化,然后用内积索引(IP)来检索。因为内积计算比余弦公式少了几次开方和除法,在大规模检索里速度优势明显,Faiss这类库对此做了高度优化。
另外要看你的嵌入模型是怎么训练的。像OpenAI的text-embedding系列默认输出归一化向量,直接用点积就是余弦相似度;而有些开源模型训练时用的是对比损失加温度参数,输出向量不归一化,此时用点积检索会出现前文说的模长偏置问题。正确的做法是查一下模型文档,确认训练时用的相似度目标,检索时保持一致。
常见的坑和排查清单
最后整理几个实际项目中高频出现的错误。第一个是索引和度量不匹配:用L2距离建的索引,查询时却按相似度从大到小排,结果顺序完全颠倒。第二个是预处理不一致:入库时做了归一化,查询时忘了做,相似度分数普遍偏低。第三个是浮点精度问题:用float16存储大维度向量时,归一化后的模长会略微偏离1,累积误差在高维空间里不可忽略,建议归一化用float32做完再转存。
import numpy as np
# 排查脚本:验证检索管线的度量一致性
def check_consistency(index_vecs, query_vec, index_metric):
# 1. 检查库内向量是否归一化
norms = np.linalg.norm(index_vecs, axis=1)
print(f"库内向量模长范围: {norms.min():.4f} ~ {norms.max():.4f}")
# 2. 检查查询向量
q_norm = np.linalg.norm(query_vec)
print(f"查询向量模长: {q_norm:.4f}")
# 3. 如果索引是内积但向量未归一化,给出警告
if index_metric == "IP" and abs(norms.max() - 1.0) > 0.01:
print("警告: 使用IP索引但向量未归一化,模长会干扰排序")排查相似度不准的问题时,建议按这个顺序走:先看向量模长分布,再确认模型训练时的度量目标,然后检查入库和查询两侧的预处理是否一致,最后核对索引构建时声明的度量类型。绝大多数“相似度不准”的案例,都能在这四步里找到原因。
总结一下:归一化让度量选择变得更简单,它把欧氏距离、余弦相似度、点积统一到同一个排序上;而在不能归一化的场景里,就要根据模长是否携带业务信息来谨慎挑选度量方式。把这些基础概念理顺之后,再去调嵌入模型的参数和索引的召回率,效果提升才有意义。