Elasticsearch的搜索质量很大程度上取决于分词是否合理。同样一条中文文本，用standard分词器会被切成一个个单字，用IK分词器则能切出有意义的词语，搜索命中率天差地别。这篇文章从内置分词器讲到IK插件，再到自定义分词器和热更新词库，把分词器配置的完整链路梳理清楚。
一、先搞懂内置分词器各自的行为
Elasticsearch默认提供了几个开箱即用的分词器，最常用的是standard、simple、whitespace和keyword。很多人装完集群就开始建索引，从来没关心过默认分词器到底怎么工作的，等发现中文搜索全是单字匹配才回头补课。
standard是Elasticsearch的默认分词器，对英文按词切分并做小写处理，对中文则逐字切分。也就是说“分布式搜索引擎”会被切成“分”“布”“式”“搜”“索”“引”“擎”七个词项，这样的好处是召回率高（任何单字都能命中），坏处是搜“搜索引擎”会把包含“引”字的文档全查出来，精度很差。simple分词器按非字母字符切分，只保留字母并转小写；whitespace只按空白切分，保留原始大小写；keyword则干脆不分词，把整个字段当成一个词项，适合存身份证号、订单号这类精确匹配的值。
可以用_analyze接口直接观察分词效果，这是调试分词器最有用的工具：
GET _analyze
{
"analyzer": "standard",
"text": "Elasticsearch分布式搜索引擎实战"
}返回结果里会列出每个token的文本、位置和起止偏移。建议在配置任何分词器之前，先用它跑一遍真实业务数据，看切出来的词项是否符合预期，比看文档直观得多。
二、在映射中正确配置analyzer与search_analyzer
分词发生在两个阶段：写入文档时对字段内容分词（索引期），执行查询时对查询关键词分词（搜索期）。这两个阶段可以分别指定分词器，对应的参数就是analyzer和search_analyzer。
一个常见的实践是索引期用细粒度分词保证召回，搜索期用粗粒度分词保证精度。以IK分词器为例，索引期用ik_max_word把文本切得尽可能细，搜索期用ik_smart做粗粒度切分，这是中文搜索里被验证过无数次的经典组合：
PUT my_articles
{
"settings": {
"number_of_shards": 1
},
"mappings": {
"properties": {
"title": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
},
"content": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_smart"
}
}
}
}注意映射一旦建立就不能修改分词器，只能新建索引再通过reindex迁移数据。所以上线前务必把分词方案定下来，别等到线上数据几千万条才发现切词不对。如果确实需要调整，标准做法是新建索引、调用_reindex接口搬迁数据、再用别名切换，全程可以做到业务无感。
还有一点容易忽略：只有text类型的字段才有分词行为，keyword类型不分词。如果一个字段既要全文搜索又要聚合排序，应该用text加keyword的多字段（multi-fields）组合：
"title": {
"type": "text",
"analyzer": "ik_max_word",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
}三、IK分词器的安装与两种模式的选择
处理中文，IK分词器几乎是绕不开的选择。安装方式是在每个数据节点的插件目录执行bin目录下的elasticsearch-plugin脚本：
./bin/elasticsearch-plugin install https://get.infini.cloud/elasticsearch/analysis-ik/8.11.1
注意插件版本必须和Elasticsearch版本完全一致，否则节点直接启动失败。装完记得重启节点，用GET _cat/plugins确认插件加载成功。
IK提供两种分词模式。ik_max_word会做最细粒度切分，“中华人民共和国”会被切成“中华人民共和国”“中华人民”“中华”“华人”“人民”“共和国”“共和”“国”等一大堆词项，索引体积会变大，但搜索时几乎不会漏。ik_smart做最粗粒度切分，同样这句话只切成“中华人民共和国”一个词，索引更省空间，但如果用户搜“中华”，包含完整国名的文档就匹配不上了。这也是前面推荐索引期max_word、搜索期smart组合的原因：写入时多切一些保证覆盖面，查询时按用户最可能输入的粒度去匹配。
另外IK还支持ik_smart的lazy模式，可以通过请求参数控制是否启用智能纠错型的切分歧义处理，不过在大多数业务里默认行为已经够用。
四、自定义分词器与词库热更新
内置分词器和IK都不可能认识你的业务词。做电商的“冰美式”，做医疗的“淋巴细胞”，默认词库里没有就会被切碎。解决办法有两条路：扩展词库或者干脆自定义分词器。
自定义分词器要理解一个概念：Elasticsearch里的analyzer本质上是三个组件的组合——字符过滤器（char_filter）、分词器（tokenizer）、词元过滤器（filter）。比如下面这个自定义分词器，先把中英文之间的空白和HTML标签清理掉，再按标准方式切词，最后做小写转换和停用词过滤：
PUT my_index
{
"settings": {
"analysis": {
"char_filter": {
"my_html_strip": {
"type": "html_strip",
"escaped_tags": ["script"]
}
},
"filter": {
"my_stopwords": {
"type": "stop",
"stopwords": ["的", "了", "是", "在"]
}
},
"analyzer": {
"my_custom_analyzer": {
"type": "custom",
"char_filter": ["my_html_strip"],
"tokenizer": "ik_max_word",
"filter": ["lowercase", "my_stopwords"]
}
}
}
}
}这个结构非常灵活，tokenizer可以换成任何一种（包括IK的两种模式），filter链可以按需拼接同义词、词干提取、拼音转换等过滤器，是应对复杂搜索需求的核心机制。配置完用_analyze验证一遍即可。
至于新词问题，IK支持在配置文件里维护扩展词库和停用词库，目录在插件安装路径的config文件夹下，修改IKAnalyzer.cfg.xml中的entry节点指向词库文件即可。更推荐的做法是配置远程词库，IK会定期拉取HTTP接口返回的词表，实现不停机热更新：
<entry key="remote_ext_dict">http://192.168.0.1:8080/hotwords.txt</entry>
远程词库接口返回的HTTP头需要带上Updated-Marker之类的更新标记，或者直接对比内容，IK默认每分钟请求一次。运维同事在后台加新词，一分钟内就能生效，不用重启任何服务。
五、几个高频踩坑点
第一，字段类型写错。想分词的字段用了keyword，或者想精确匹配的字段用了text，这是新手最常见的错误，表现是搜索结果完全不符合直觉。第二，忽略了索引期和搜索期分词器不一致带来的副作用——如果查询词在搜索期被切成索引期根本不存在的词项，就会出现“文档里有却搜不到”的情况。排查时对同一段文本分别用两个分词器跑_analyze，对比token列表就能定位。
第三，term查询不分词。很多人以为换了好分词器，用term查中文就能命中，其实term查询是直接拿关键词去倒排索引里精确匹配的，不会走search_analyzer。要对分词行为生效，应该用match查询。第四，同义词配置要放在filter链里，而且索引期展开同义词和搜索期展开各有利弊：索引期展开会让索引膨胀但查询快，搜索期展开索引小但查询时要多次展开。一般建议搜索期处理，方便随时调整同义词表。
把这几块理顺之后，分词配置基本就到位了。最后再强调一次调试方法：遇到任何搜索不命中或误命中的问题，第一步永远是_analyze看切词结果，第二步对比索引里的实际词项（用termvectors接口），九成问题都能在这一步现出原形。
Elasticsearch分词器analyzer配置IK分词器修改时间：2026-09-04 02:26:52