使用LXML从XPath路径中提取href属性值
在Python的网页解析场景中，LXML是一个高效且功能强大的库，它支持XPath语法，能够快速定位HTML/XML文档中的节点并提取所需属性。本文将以提取<a>标签的href属性值为例，介绍完整的实现流程。
环境准备
首先需要确保已经安装了LXML库，若未安装可以通过包管理工具进行安装：
pip install lxml
基础提取逻辑
使用LXML提取href属性的核心步骤分为三步：
将目标HTML内容解析为LXML的Element对象
通过XPath语法定位包含href属性的节点
提取对应节点的href属性值
示例代码实现
以下示例展示了从一段HTML片段中提取所有<a>标签的href属性值：
from lxml import etree
# 示例HTML内容
html_content = """
<div class="link-list">
<a href="https://www.ipipp.com/page1">页面1</a>
<a href="https://www.ipipp.com/page2">页面2</a>
<a href="https://www.ipipp.com/page3">页面3</a>
</div>
"""
# 解析HTML内容
html_element = etree.HTML(html_content)
# 使用XPath定位所有a标签并提取href属性
# XPath语法：//a 表示匹配所有a标签，@href表示提取href属性
href_list = html_element.xpath("//a/@href")
# 输出提取结果
for href in href_list:
print(href)上述代码的运行结果为：
https://www.ipipp.com/page1 https://www.ipipp.com/page2 https://www.ipipp.com/page3
进阶场景：过滤特定条件的href
如果只需要提取符合特定规则的href值，可以在XPath中添加过滤条件。例如提取class为target-link的<a>标签的href属性：
from lxml import etree
html_content = """
<div>
<a href="https://www.ipipp.com/home" class="target-link">首页</a>
<a href="https://www.ipipp.com/about" class="normal-link">关于我们</a>
<a href="https://www.ipipp.com/contact" class="target-link">联系我们</a>
</div>
"""
html_element = etree.HTML(html_content)
# XPath条件：匹配class为target-link的a标签，再提取href属性
target_hrefs = html_element.xpath("//a[@class='target-link']/@href")
for href in target_hrefs:
print(href)运行后会输出符合过滤条件的href值：
https://www.ipipp.com https://www.ipipp.com/contact
注意事项
XPath中的属性值如果是字符串，需要使用单引号包裹，和Python字符串的引号区分开避免语法错误
如果解析的是本地HTML文件，可以使用
etree.parse()方法，但需要指定解析器为etree.HTMLParser()避免解析报错部分网页的href可能是相对路径，提取后需要结合网页的基础URL拼接为完整路径，例如基础URL为https://www.ipipp.com时，相对路径
/detail/1拼接后为https://www.ipipp.com/detail/1