实体识别工具的核心任务是从非结构化文本中自动定位并分类命名实体。中文人名、地名、机构名是最常处理的三类实体，也是信息抽取、知识图谱构建、舆情分析和智能问答的基础能力。由于中文没有天然空格作为词边界，实体识别必须同时解决分词和边界判定问题。以南京市长江大桥为例，如果分词器先切出南京和市长，就会产生人名误报；如果切出南京市和长江大桥，则需要进一步判断南京市是地名，长江大桥是设施名称还是机构名。
一、主流实体识别工具与选型逻辑
实体识别工具大致可以分为基于规则与词典、基于统计机器学习、基于预训练深度模型三类。规则与词典方法依靠姓氏库、地名后缀库、机构关键词库以及正则表达式进行匹配，优点是速度极快、结果可解释、容易控制误报，但召回率容易受词典覆盖限制，对未登录人名、新成立机构和不规则简称无能为力。统计机器学习方法以条件随机场和隐马尔可夫模型为代表，通过对训练语料中的字、词、词性、前后缀等特征建模，预测每个字属于人名、地名、机构名或非实体的标签，泛化能力强于纯规则。
基于预训练深度模型的方法进一步提升了复杂语境下的识别能力。BiLSTM-CRF将双向长短期记忆网络与条件随机场结合，RNN负责提取字符级上下文特征，CRF负责约束标签转移关系。BERT等预训练语言模型在大规模无标注文本上学习到了深层语义表示，只需在顶层添加token分类头，就能在中文命名实体识别上取得更高精度。常用中文工具包括HanLP、LTP、Stanford CoreNLP、spaCy以及Hugging Face上的多种中文NER模型。HanLP接口简单，适合快速接入；LTP提供分词、词性、依存句法、命名实体识别等一体化能力；Transformers生态下的模型适合需要针对垂直领域微调的场景。
| 工具 | 中文支持 | 实体标签 | 优势 |
|---|---|---|---|
| HanLP | 原生 | nr、ns、nt | 离线、速度快、可开启多种识别 |
| LTP 4.x | 原生 | Nh、Ns、Ni | 功能全面、支持多任务 |
| Transformers中文NER | 预训练模型 | B/I-PER、B/I-LOC、B/I-ORG | 可微调、精度高 |
选型不能只看公开数据集的F1值。新闻、社交媒体、法律文书、医疗报告等不同语料中的实体表达差异很大。新闻文本以标准人名和机构名为主，社交媒体存在昵称和简称，法律文书中的机构名往往包含层级、地域和职能信息。部署时也要考虑是否允许GPU加速、服务时延要求、离线环境能否加载大规模模型。对于实时性要求较高的文本流处理，HanLP的快速分词加实体识别更合适；如果是离线批量处理且精度优先，BERT系列模型是更稳妥的选择。
二、代码实战：用HanLP和LTP识别中文实体
HanLP是国内常用的Java加Python开源工具包，底层同时支持规则、统计和深度学习模型。普通Python接口通过pyhanlp调用，开启人名、地名、机构名识别后，分词时会在词性标注中返回nr、ns、nt等标签。下面是一段完整示例，展示从分词到实体输出的流程。
from pyhanlp import HanLP
# 新建分词器，开启三类命名实体识别
segment = HanLP.newSegment()
segment.enableNameRecognize(True)
segment.enablePlaceRecognize(True)
segment.enableOrganizationRecognize(True)
text = "李明在北京大学担任教授，昨天前往杭州参加阿里巴巴组织的会议。"
for term in segment.seg(text):
print(term.word, term.nature)
运行后，李明会被标注为nr即人名，北京大学会被标注为nt即机构名，杭州被标注为ns即地名。需要注意的是，HanLP的输出粒度与分词器配置有关。比如北京大学可能被整体识别为一个机构名，也可能被切分为北京和大学后再合并，具体取决于模型版本和开启的识别选项。不同粒度在后续信息抽取中需要统一处理，否则同一实体可能出现多种表示形式。
哈工大LTP的4.x版本提供了Python接口，使用时先加载模型，再依次执行分词和命名实体识别。LTP返回的实体标签中，Nh表示人名，Ns表示地名，Ni表示机构名。示例如下：
from ltp import LTP
ltp = LTP()
seg, hidden = ltp.seg(["张三昨天去了北京市并访问了华为技术有限公司。"])
ner = ltp.ner(hidden)
for sent_entities in ner:
for entity in sent_entities:
print(entity[1], entity[0])
这段代码会输出张三对应Nh，北京市对应Ns，华为技术有限公司对应Ni。LTP的优势在于多任务结果可以共享隐藏状态，分词、词性标注和实体识别可以在同一条流水线上完成。但与HanLP类似，对于包含地名和机构名嵌套的长实体，例如北京市海淀区人民法院，可能被识别为多个相邻实体，需要根据业务规则进行合并。
除了这两款工具，spaCy也可以处理中文，但其默认中文模型并非专门针对人名、地名、机构名三大类训练，使用时通常需要加载第三方模型或自训练。Transformers生态下的中文NER模型则提供BIO标注，标签更加细粒度，适合对实体边界要求严格的场景。
三、典型识别失败场景与优化方法
实际应用中，实体识别失败最常见的原因不是模型本身能力不足，而是输入文本的领域差异和分词错误级联。中文分词器一旦把实体切开，后续分类器很难恢复完整边界。例如南京市长江大桥如果被切分为南京、市长、江大桥，就会把普通文本误判为人名地名。类似地，复姓人名如欧阳娜娜、机构简称如国家发展改革委、高校附属医院如北京大学人民医院，都容易在边界判断上出现偏差。
优化中文人名地名机构名识别可以从词典、规则和后处理三个层次入手。第一层是添加领域词典。HanLP和LTP均支持用户自定义词典，可以把金融、医疗、政府机构等高频词提前加入，降低切词错误。第二层是编写实体后缀和上下文规则，例如公司、集团、银行、医院、大学等后缀可以辅助机构名边界确认，来自某地的某人等句式可以辅助人名判断。第三层是对模型输出进行后处理，合并相邻的B、I标签，修正标签序列不合法的情况，例如B-PER之后不能直接出现I-ORG，应重新切分或保留最可信片段。
如果通用工具无法满足垂直领域需求，可以使用预训练模型微调。Hugging Face Transformers提供了便捷的pipeline接口，以下示例加载一个中文NER模型，直接识别输入文本中的人名、地名和机构名。
from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
model_name = "ckiplab/bert-base-chinese-ner"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForTokenClassification.from_pretrained(model_name)
ner_pipeline = pipeline("ner", model=model, tokenizer=tokenizer)
text = "马云创立了阿里巴巴，总部位于杭州。"
result = ner_pipeline(text)
for item in result:
print(item["word"], item["entity"])
该模型输出B-PER、I-PER、B-LOC、I-LOC、B-ORG、I-ORG等标签，分别对应人名、地名、机构名的开始和内部位置。使用时建议按照实体标签顺序合并子词，并将连续相同类型的B、I片段还原为完整实体。对于特定业务，可以收集几千条人工标注语料，在bert-base-chinese等基座模型上继续训练，只需要调整标签数量和训练轮数，就能显著提升目标领域的召回率。
最后，评价一个实体识别工具是否满足需求，不应只看单点效果，还要关注实体边界一致性、处理速度、部署成本和可维护性。人名、地名、机构名三类实体看似简单，实际上覆盖了大量语言现象和数据噪声。先明确业务范围，再用小批量真实数据对比不同工具的输出去重、合并、纠错，通常能更快找到适合自己系统的方案。