在实际的文本处理场景中,我们经常会遇到携带HTML标签的文本内容,比如从网页爬取的文章、富文本编辑器保存的内容等。这类文本如果直接统计单词数量,会把标签本身的字符也算进去,导致结果完全不符合预期。因此我们需要先剥离所有HTML标签,得到纯文本后再进行单词计数。

常见实现思路
方法一:正则匹配去除标签
这种方法的核心是通过正则表达式匹配所有HTML标签的格式,将其替换为空字符串,从而得到纯文本。HTML标签的基本格式是<开头,>结尾,中间包含标签名和可能的属性,我们可以用<[^>]+>这个正则来匹配绝大多数常规标签。
不过这种方法有一定局限性,比如无法处理标签嵌套、注释、script和style标签里的内容,适合处理结构简单、标签规范的文本。
方法二:DOM解析提取纯文本
通过内置的HTML解析器将文本转为DOM结构,再调用提取纯文本的方法,会自动忽略所有标签、注释、脚本样式等内容,得到的纯文本更准确,适合处理结构复杂的HTML文档。
不同语言实现示例
Python实现
正则方式的Python实现如下:
import re
def count_words_after_remove_html(text):
# 第一步:去除所有HTML标签
clean_text = re.sub(r'<[^>]+>', '', text)
# 第二步:按非字母数字字符分割得到单词列表,过滤空字符串
words = [word for word in re.split(r'[^a-zA-Z0-9]+', clean_text) if word]
return len(words)
# 测试示例
test_html = '<p>Hello <strong>world</strong>, this is a test <em>text</em>.</p>'
print(count_words_after_remove_html(test_html)) # 输出:7DOM解析方式的Python实现(需要安装beautifulsoup4库):
from bs4 import BeautifulSoup
def count_words_by_dom(text):
# 解析HTML并提取纯文本
soup = BeautifulSoup(text, 'html.parser')
clean_text = soup.get_text()
# 分割统计单词
words = [word for word in re.split(r'[^a-zA-Z0-9]+', clean_text) if word]
return len(words)
# 测试示例
test_html = '<p>Hello <strong>world</strong>, this is a test <em>text</em>.</p>'
print(count_words_by_dom(test_html)) # 输出:7JavaScript实现
正则方式的JavaScript实现:
function countWordsAfterRemoveHtml(text) {
// 去除HTML标签
const cleanText = text.replace(/<[^>]+>/g, '');
// 分割单词并过滤空值
const words = cleanText.split(/[^a-zA-Z0-9]+/).filter(word => word.length > 0);
return words.length;
}
// 测试示例
const testHtml = '<p>Hello <strong>world</strong>, this is a test <em>text</em>.</p>';
console.log(countWordsAfterRemoveHtml(testHtml)); // 输出:7DOM解析方式的JavaScript实现(浏览器环境):
function countWordsByDom(text) {
// 创建临时DOM元素
const tempDiv = document.createElement('div');
tempDiv.innerHTML = text;
// 提取纯文本
const cleanText = tempDiv.textContent || tempDiv.innerText;
// 分割统计单词
const words = cleanText.split(/[^a-zA-Z0-9]+/).filter(word => word.length > 0);
return words.length;
}
// 测试示例
const testHtml = '<p>Hello <strong>world</strong>, this is a test <em>text</em>.</p>';
console.log(countWordsByDom(testHtml)); // 输出:7注意事项
- 如果文本中包含中文,需要调整单词分割的正则,比如按空格、标点分割,或者结合中文分词库处理。
- 正则方式无法处理嵌套标签、自闭合标签的特殊情况,若文本结构复杂优先选择DOM解析方式。
- 统计单词时可以根据需求决定是否区分大小写,若需要统一计数可以先把文本转为小写再处理。