搜索引擎每天要处理数十亿次查询，它之所以能在毫秒之间从海量网页中挑出与你输入内容最相关的结果，靠的并不是人工标注，而是一套自动化的文本分析技术。其中最经典、应用最广的，就是TF-IDF权重计算和余弦相似性匹配。理解了这两个算法，你就能明白搜索引擎眼中的“关键词”到底是怎么来的，也能明白为什么有些网页能排在前面。
TF-IDF：衡量一个词到底有多重要
TF-IDF的全称是Term Frequency-Inverse Document Frequency，中文通常译作“词频-逆文档频率”。它的核心思想可以用一句话概括：一个词在某篇文档中出现次数越多，同时在其他文档中出现得越少，这个词对这篇文档就越有代表性。
TF指的是词频，也就是某个词在当前文档中出现的次数除以文档总词数。假设一篇文档有1000个词，其中“算法”出现了20次，那么它的词频就是0.02。单纯看词频似乎已经能说明重要性了，但问题在于，像“的”“是”“我们”“可以”这类词几乎在每篇文档里都高频出现，它们词频很高，却毫无区分能力。
于是需要IDF来修正。IDF的计算方式是：先用总文档数除以包含该词的文档数，再取对数。假如语料库有10000篇文档，其中5000篇都包含“的”，那么“的”的IDF值接近log(2)，非常低；而“算法”如果只出现在100篇文档中，IDF就是log(100)，明显更高。最终TF-IDF值就是两者相乘，常用词的权重被压低，具有区分度的词权重被抬高。搜索引擎正是依据这个权重，从网页中自动挑出最能代表该页面的关键词。
把文档变成向量：向量空间模型
有了TF-IDF，每一篇文档都可以表示成一个向量。具体做法是：先建立一个包含所有可能出现词语的词典，然后为每个词分配一个维度。文档向量在每个维度上的取值，就是对应词语的TF-IDF权重。比如词典有50000个词，那每篇文档就是一个50000维的向量，大多数位置为零，只有文档中实际出现的词有非零值。
用户的查询语句同样可以转换成向量。比如你搜索“机器学习入门”，系统会把这几个词也放进同一个向量空间中，按同样的规则赋予权重。这样一来，判断一个网页和查询是否相关，就变成了比较两个向量在空间中的距离和方向，这就是向量空间模型的巧妙之处。
这种表示方法的威力在于，它把原本模糊的“文本相似”问题转化成了精确的数学运算。无论文档多长、查询多短，只要落在这个空间里，都可以统一比较，后续所有的排序计算都建立在这个基础之上。
余弦相似性：夹角越小，内容越接近
比较两个向量有很多方法，为什么偏偏选余弦？因为在文本场景中，我们关心的不是向量绝对长度，而是方向是否一致。长文档词频总和自然更高，向量模长更大，如果直接用欧氏距离，长文档会吃亏。余弦相似性只看夹角，天然消除了文档长度的影响。
计算公式为：两个向量的点积除以两个向量模的乘积。结果的取值范围在0到1之间（文本权重非负时），1表示方向完全一致，即两个文本用词高度重合；0表示没有任何共同词语。举例来说，查询向量与网页A的余弦相似度为0.82，与网页B为0.35，搜索引擎就会把A排在B前面。
下面用一个简化的例子展示计算过程。假设词典只有三个词：搜索、引擎、技术。某文档中三个词的TF-IDF权重分别是0.8、0.6、0.1，用户查询的权重是0.9、0.5、0.0，那么点积为0.8×0.9+0.6×0.5+0.1×0.0=1.02，两个向量的模分别约为1.01和1.03，余弦相似度约等于0.98，说明匹配程度相当高。
两个算法如何配合完成一次搜索
完整的流程可以分四步走。第一步是预处理，对网页和查询做分词、去停用词、词干化处理，得到干净的词序列。第二步是建立倒排索引，记录每个词出现在哪些文档中，这样能快速筛出包含查询词的候选网页，避免全库扫描。第三步对候选网页计算TF-IDF权重，生成文档向量，并与查询向量做余弦相似性计算。第四步按相似度从高到低排序，结合其他因素（如链接权重、页面质量）得到最终结果。
值得注意的是，余弦相似性通常只在候选集上计算，而不是全部网页。倒排索引先把范围缩小到几千甚至几百个页面，再逐一精确计算，这样才能满足毫秒级响应的要求。TF-IDF和余弦相似性是黄金搭档：前者负责把文本数字化并赋予合理的权重，后者负责在统一的坐标系里完成匹配打分。
| 环节 | 负责的算法 | 作用 |
|---|---|---|
| 关键词提取与权重计算 | TF-IDF | 找出文档中最有代表性的词并量化重要程度 |
| 文本向量化表示 | 向量空间模型 | 把文档和查询统一映射到同一坐标系 |
| 相关性排序 | 余弦相似性 | 计算匹配得分并按相关度排序 |
实际应用场景与局限
除了网页排序，这套技术在很多领域都有落地。自动摘要系统会用TF-IDF挑出权重最高的句子组成摘要；文本分类任务用它把文章自动归入科技、体育、财经等栏目；查重系统通过比较文档向量的余弦值判断抄袭程度；推荐系统也借助相似度计算找到内容相近的文章推送给用户。
当然，这套经典方法也有局限。它把词当作独立个体，无法理解语义，比如“汽车”和“轿车”在向量空间中毫无关系，即使表达同一个意思，相似度也可能为零。此外，纯粹依赖词频容易被关键词堆砌作弊。因此现代搜索引擎在TF-IDF和余弦相似性的基础上，又引入了语义向量、机器学习排序模型、用户行为信号等技术。
但无论技术如何演进，TF-IDF和余弦相似性依然是文本处理的入门基石，也是理解更复杂算法的必经之路。掌握它们的原理，你不仅能看懂搜索引擎的工作逻辑，还能在自己的项目中快速搭建出实用的文本分析与匹配系统。