在文本处理场景中，我们经常会遇到需要统计纯文本词数的需求，但原始文本往往包含大量HTML标签，直接统计会导致结果偏差。本文将详细介绍如何先计算去除HTML标签后的文本词数，给出完整的实现思路和代码示例。
核心实现思路
整个流程可以分为两个核心步骤：第一步是去除文本中的所有HTML标签，得到纯净的文本内容；第二步是对纯净文本进行分词处理，统计最终的词数。不同场景下可以根据需求选择不同的实现方式。
第一步：去除HTML标签
去除HTML标签最常用的方法是使用正则表达式匹配并替换掉所有<开头、>结尾的标签内容。如果是Python环境，也可以使用自带的html解析库处理，避免正则匹配出现漏判的情况。
第二步：统计词数
得到纯文本后，需要根据具体的分词规则拆分词语。如果是英文文本，可以直接按空格拆分；如果是中文文本，则需要使用专门的分词库，比如jieba，来实现准确的分词统计。
Python实现示例
英文文本处理示例
以下代码实现了英文HTML文本去除标签后统计词数的功能：
import re
def remove_html_tags(text):
# 正则匹配所有HTML标签并替换为空
clean_text = re.sub(r'<[^>]+>', '', text)
return clean_text
def count_words(text):
# 去除HTML标签
clean_text = remove_html_tags(text)
# 按空格拆分单词，过滤空字符串
words = [word for word in clean_text.split() if word.strip() != '']
return len(words)
# 测试示例
html_text = '<p>Hello <strong>world</strong>, this is a test text.</p>'
word_count = count_words(html_text)
print(f"去除标签后的词数为：{word_count}")中文文本处理示例
中文文本需要先去除HTML标签，再使用jieba分词统计词数，代码如下：
import re
import jieba
def remove_html_tags(text):
clean_text = re.sub(r'<[^>]+>', '', text)
return clean_text
def count_chinese_words(text):
clean_text = remove_html_tags(text)
# 使用jieba分词
words = jieba.lcut(clean_text)
# 过滤空字符串和纯空格内容
valid_words = [word for word in words if word.strip() != '']
return len(valid_words)
# 测试示例
html_text = '<div>这是一段<span>包含HTML标签</span>的中文测试文本。</div>'
word_count = count_chinese_words(html_text)
print(f"去除标签后的中文词数为：{word_count}")注意事项
- 正则去除标签的方式无法处理嵌套标签或者标签属性中包含特殊字符的情况，如果有复杂HTML处理需求，建议使用BeautifulSoup等解析库。
- 统计词数时需要根据实际业务需求调整过滤规则，比如是否去除标点符号、是否统计数字等。
- 如果处理的文本量较大，建议先做性能测试，选择合适的实现方式避免效率过低。