Python爬虫数据清洗有哪些实用技巧

Python爬虫完成抓取之后，得到的数据往往不能直接进入分析、入库或展示环节。原始网页内容通常混杂着空白字符、标签残片、实体符号、编码异常、重复记录以及格式不一致等问题。若跳过清洗步骤，后续统计结果容易被噪声干扰，存储结构也可能因为脏数据而报错。因此，数据清洗不是可选步骤，而是爬虫工程中承上启下的关键环节。

从工程角度看，清洗的目标并不是简单删改内容，而是在保留真实信息的前提下，把杂乱文本转换成结构化、可比较、可校验的数据。换句话说，清洗既要去除噪声，也要尽量保持业务语义完整。下文将从脏数据识别、文本规范化、内容还原、字段标准化与质量校验几个角度，系统梳理实用技巧。

爬虫数据清洗的核心目标与常见脏数据类型

爬虫面对的是面向人类阅读的网页，而不是完全规范的数据接口。因此，同一个字段在不同页面中可能有不同表现形式。例如标题可能带有换行和缩进，价格可能带有货币符号或单位，状态字段可能大小写不一致。清洗前需要先判断哪些内容属于噪声，哪些内容属于需要保留的业务信息。

常见脏数据可以分为文本层、结构层和语义层。文本层问题包括空白字符、标签残留、实体符号和乱码；结构层问题包括重复记录、字段缺失和层级错位；语义层问题包括异常值、非法格式和不符合业务规则的内容。只有先区分问题类型，才能选择合适的清洗方法。

建立清洗流程时，建议遵循先观察、再转换、后校验的顺序。观察样本能帮助我们判断噪声来源；转换阶段应尽量使用稳定且可重复执行的操作，避免多次执行产生不同结果；校验阶段则用于兜底，确保不合格数据不会进入下游系统。

文本规范化：空白字符与HTML标签残留的处理

空白字符是最常见也最容易被低估的问题。页面上为了排版美观，经常存在缩进、换行和多余空格。如果直接存入数据库，可能导致唯一性判断失效，也会让文本比对出现误差。Python字符串方法可以完成大部分基础清理工作。

使用 strip 可以去除首尾空白，使用 replace 可以把换行和制表符替换为空格，再借助正则表达式 re.sub 合并连续空白。这样处理后，文本会更紧凑，也便于后续切分、匹配和展示。

# 原始爬取到的文本数据
raw_text = "  商品标题n包含多余空白t和换行  n"

# 去除首尾空白字符
clean_text = raw_text.strip()
print(clean_text)

# 将换行符和制表符替换为空格
clean_text = clean_text.replace("n", " ").replace("t", " ")

# 合并连续空白字符
import re
clean_text = re.sub(r"s+", " ", clean_text)
print(clean_text)

另一类常见问题是HTML标签残留。当爬虫直接提取网页片段时，内容可能包含 <div>、<p>、<span> 等标记。若只想要纯文本，可以使用正则表达式移除标签；若担心相邻文字粘连，也可以把标签替换为空格，然后再合并多余空白。

需要注意，正则表达式适合处理简单片段或已知结构。如果页面嵌套复杂，或者需要保留属性、列表结构和语义层级，更适合使用成熟的解析库。清洗策略应根据数据复杂度选择，而不是一味追求简短代码。

import re

# 包含HTML标签的原始内容
html_content = "<div class='content'><p>这是正文内容</p><span>附带信息</span></div>"

# 使用正则匹配所有HTML标签并替换为空
text_content = re.sub(r"<[^>]+>", "", html_content)
print(text_content)

# 如果希望标签位置变成空格，避免相邻文本粘连
text_content = re.sub(r"<[^>]+>", " ", html_content)
text_content = re.sub(r"s+", " ", text_content).strip()
print(text_content)

内容还原：HTML实体、编码异常与字段格式统一

网页中经常出现HTML实体字符，例如  、<、>。这些内容在源码层面是安全的，但进入数据分析流程前，应还原为可读字符。Python标准库中的 html.unescape 可以完成这类转换。

编码异常则更隐蔽。若响应字节流和解码方式不匹配，就会出现乱码。稳妥做法是优先使用明确编码，无法确定时按常见编码尝试，并在最终失败时使用替换策略，避免程序因为单个字段中断。

import html

# 包含HTML实体字符的内容
entity_text = "价格： 199元 <限时优惠>"

# 将HTML实体转换为正常字符
normal_text = html.unescape(entity_text)
print(normal_text)

# 安全解码：按常见编码依次尝试，失败时使用替换策略
def safe_decode(raw_bytes):
    for encoding in ("utf-8", "gbk", "latin-1"):
        try:
            return raw_bytes.decode(encoding)
        except UnicodeDecodeError:
            continue
    return raw_bytes.decode("utf-8", errors="replace")

raw_bytes = "商品信息".encode("utf-8")
print(safe_decode(raw_bytes))

字段格式统一同样重要。同一价格可能包含货币符号、空格或单位，同一状态可能有大小写差异。清洗时应该先定义目标格式，再对所有记录执行同一套转换规则。这样能显著提升后续聚合、筛选和比对的准确性。

对于列表型数据，可以在格式统一的同时完成去重。将关键字段组成可哈希的键，利用集合记录是否出现过，就能过滤完全重复的条目。如果重复判断依赖清洗后的值，则应先统一格式再去重，避免看似不同但实际相同的数据被保留。

import re

# 模拟爬取到的重复数据列表
raw_data_list = [
    {"title": "商品A", "price": "199", "status": "On Sale"},
    {"title": "商品A", "price": "199", "status": "On Sale"},
    {"title": "商品B", "price": "299元", "status": "on sale"},
    {"title": "商品C", "price": "399 元", "status": "SOLD"}
]

unique_data = []
seen = set()

for item in raw_data_list:
    # 先统一字段格式，再进行去重判断
    title = item["title"].strip()
    price = re.sub(r"[^d]", "", item["price"])
    status = item["status"].strip().lower()

    key = (title, price, status)
    if key not in seen:
        seen.add(key)
        unique_data.append({
            "title": title,
            "price": price,
            "status": status
        })

print(unique_data)

数据质量保障：去重、校验与可复用的清洗流程

去重和格式化只是清洗的中段工作，真正决定数据可用性的是校验。校验规则应贴近业务，例如必填字段不能为空，数值必须落在合理区间，联系方式必须符合基本格式。对于不满足规则的数据，可以直接过滤，也可以打上标记进入人工复核。

校验时建议把规则拆成独立步骤，而不是写成一长串条件判断。这样不仅便于测试，也方便后续根据新数据源调整规则。对于手机号、邮箱等常见字段，可以使用正则表达式做基础判断；对于复杂业务字段，则需要结合字典、范围或外部参照表。

import re

# 模拟清洗后的数据
cleaned_data = [
    {"name": "张三", "phone": "13800138000", "score": 95},
    {"name": "李四", "phone": "12345", "score": 150},
    {"name": "", "phone": "13900139000", "score": 88}
]

valid_data = []
for item in cleaned_data:
    # 姓名不能为空
    if not item["name"].strip():
        continue

    # 手机号需要符合常见格式
    phone_pattern = r"^1[3-9]d{9}$"
    if not re.match(phone_pattern, item["phone"]):
        continue

    # 分数需要在合理范围内
    if item["score"] not in range(0, 101):
        continue

    valid_data.append(item)

print(valid_data)

在实际项目中，清洗逻辑最好封装成函数或管道，保证输入输出清晰，并保留必要的日志。例如记录被过滤的原因、异常字段的分布以及去重数量。当下爬虫面对的数据源不断变化，可复用的清洗模块能显著降低维护成本。

此外，清洗不是一次性任务。随着页面结构变化，新的噪声可能再次出现。可以定期抽样检查清洗结果，对异常比例设置阈值。当异常突然升高时，及时回溯抓取与解析环节，比反复修补下游数据更有效。

总结与延伸建议

Python爬虫数据清洗的核心，是把不可控的网页内容转换为可靠的数据资产。基础技巧包括清理空白、移除标签残留、还原实体字符、处理编码异常、统一字段格式、去除重复记录以及建立校验规则。这些步骤看似琐碎，却直接决定后续分析的可信度。

在实践时，建议从样本观察入手，先识别主要噪声，再编写小而明确的清洗函数；对关键字段建立统一标准，对异常数据保留可追踪信息。如此，爬虫项目不仅能抓得到数据，更能留得下高质量、可复用的数据。

Python爬虫数据清洗正则表达式修改时间：2026-07-10 11:27:31