Web抓取过程中，目标网站的HTML结构经常会出现不一致的情况，例如列表页与详情页标签不同、移动端与桌面端结构差异、运营活动页临时改版等。如果爬虫仅依赖固定的节点路径，很容易在页面变动时解析失败。因此我们需要一套兼顾灵活与稳定的处理策略。
为什么会出现HTML结构不一致
造成结构不一致的原因通常来自业务和技术两个方面。了解根源有助于我们选择对应的抓取方案。
- 前端动态渲染：部分内容由JavaScript异步插入，服务端直出的HTML与最终DOM不同。
- 历史页面改版：旧文章未迁移模板，新爬虫规则无法覆盖。
- A/B测试：同一URL对不同的用户返回不同布局。
- 多端共用后台：PC与H5页面结构命名习惯不同。
常用解决策略
1. 使用容错性更强的选择器
尽量避免使用层级很深的绝对路径，转而使用语义化属性和文本内容辅助定位。下面以Python的BeautifulSoup为例，展示如何通过属性模糊匹配提取标题。
from bs4 import BeautifulSoup
html = '<div class="post-title-new">示例标题</div>'
soup = BeautifulSoup(html, 'html.parser')
# 使用包含title关键字的class进行模糊匹配，兼容不同命名
title_tag = soup.find(class_=lambda c: c and 'title' in c)
if title_tag:
print(title_tag.get_text())
2. 建立多层兜底解析
当首选规则失效时，依次尝试XPath、CSS选择器、正则提取文本。可以用函数封装优先级逻辑。
def extract_price(dom):
# 第一优先：带有data-price属性的节点
node = dom.find(attrs={'data-price': True})
if node:
return node['data-price']
# 第二优先：class包含price的节点
node = dom.find(class_=lambda c: c and 'price' in c)
if node:
return node.get_text(strip=True)
# 第三优先：正则从文本中提取
import re
text = dom.get_text()
match = re.search(r'(d+.d{2})', text)
if match:
return match.group(1)
return None
3. 利用结构化数据
不少站点在页面中嵌入了JSON-LD格式的<script>标签，它比视觉HTML更稳定。优先读取此类数据可大幅降低结构变动影响。
import json
from bs4 import BeautifulSoup
html = '<script type="application/ld+json">{"name":"商品","price":"29.90"}</script>'
soup = BeautifulSoup(html, 'html.parser')
tag = soup.find('script', type='application/ld+json')
if tag:
data = json.loads(tag.string)
print(data.get('name'), data.get('price'))
维护建议
| 实践 | 说明 |
|---|---|
| 监控解析成功率 | 对每日抓取空值比例报警，及时发现结构变动 |
| 抽取公共解析层 | 将站点通用逻辑独立，减少重复代码 |
| 保留原始HTML | 解析失败时落盘存档，便于复盘与规则修复 |
通过上述方法，我们可以在HTML结构不一致的场景下，依然保持爬虫的可用性与稳定性。核心思路是放弃脆弱的绝对路径，转向语义与数据双驱动的提取方式。
web_scrapingHTML_parsingdata_extraction修改时间：2026-07-29 02:45:22