MySQL的全文索引默认采用空格作为分词分隔符，对于中文、日文等没有天然空格分隔的语言，分词效果较差，ngram分词器是MySQL官方提供的全文索引插件，能够将文本按指定长度的字符片段进行拆分，大幅提升中文等语言的搜索匹配准确率。
ngram分词器的基本介绍
ngram是一种基于字符片段的分词算法，它会将文本拆分成连续的n个字符组成的片段，比如设置ngram_token_size为2时，文本"数据库"会被拆分成"数据"、"据库"两个片段。MySQL从5.7版本开始内置了ngram全文解析器，不需要额外安装第三方插件，只需要在配置和创建索引时指定使用即可。
ngram分词器的配置步骤
1. 修改MySQL配置文件
首先需要修改MySQL的配置文件，Windows系统下是my.ini，Linux系统下是my.cnf，在[mysqld]配置段中添加ngram相关的配置参数：
[mysqld] # 开启ngram分词器支持 ngram_token_size=2 # 可选：设置全文索引最小词长，默认是4，中文场景可以调小 ft_min_word_len=1
ngram_token_size参数表示拆分字符片段的长度，中文场景一般设置为2或者3，设置完成后需要重启MySQL服务让配置生效。如果是Linux系统，重启命令如下：
systemctl restart mysqld
2. 验证ngram分词器是否生效
重启服务后，可以登录MySQL执行以下命令查看ngram相关参数是否配置成功：
SHOW VARIABLES LIKE 'ngram_token_size'; SHOW VARIABLES LIKE 'ft_min_word_len';
如果返回的结果中对应参数的值和配置的一致，说明配置已经生效。
使用ngram分词器创建全文索引
1. 创建测试表
首先创建一个包含文本字段的测试表，用于演示全文索引的创建：
CREATE TABLE article (
id INT PRIMARY KEY AUTO_INCREMENT,
title VARCHAR(100) NOT NULL,
content TEXT NOT NULL,
create_time DATETIME DEFAULT CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
2. 创建带ngram分词器的全文索引
创建全文索引时，需要指定WITH PARSER ngram，明确使用ngram分词器：
-- 给content字段创建全文索引，使用ngram分词器 CREATE FULLTEXT INDEX idx_content_fulltext ON article(content) WITH PARSER ngram; -- 也可以同时给多个字段创建全文索引 CREATE FULLTEXT INDEX idx_title_content_fulltext ON article(title, content) WITH PARSER ngram;
3. 插入测试数据
向表中插入几条包含中文的测试数据：
INSERT INTO article (title, content) VALUES
('MySQL教程', '本文介绍MySQL全文索引的配置方法'),
('ngram分词器', 'ngram分词器可以提升中文搜索的准确性'),
('数据库优化', '数据库优化包含索引优化、查询优化等方向');
ngram全文索引的使用示例
使用全文索引进行搜索时，需要使用MATCH AGAINST语法，示例如下：
-- 搜索content中包含"全文索引"的记录
SELECT * FROM article WHERE MATCH(content) AGAINST('全文索引');
-- 搜索title或content中包含"优化"的记录
SELECT * FROM article WHERE MATCH(title, content) AGAINST('优化');
需要注意的是，如果搜索的关键词长度小于ngram_token_size的设置值，可能无法匹配到结果，比如ngram_token_size设置为2时，搜索单字符关键词"数"就不会返回结果，因为拆分后的最小片段是2个字符。
常见问题说明
- ngram分词器仅支持InnoDB和MyISAM引擎的表，建议使用InnoDB引擎。
- 修改ngram_token_size参数后，已经存在的全文索引不会自动更新，需要删除原有索引重新创建才能生效。
- 全文索引的搜索默认是自然语言模式，如果需要布尔模式搜索，可以在AGAINST后添加IN BOOLEAN MODE参数。
注意事项
在创建全文索引时，如果表中已经有大量数据，创建索引的过程会比较耗时，建议在业务低峰期操作。另外，全文索引会占用额外的存储空间，需要根据实际业务需求合理选择需要创建索引的字段，避免过度创建导致存储和性能浪费。