Python使用XPath定位元素的入门实战指南
更新时间：2026年04月23日 08:13:55 作者：detayun
XPath是一种强大的XML/HTML文档定位语言,支持精准元素查询和复杂条件筛选,本文介绍了XPath在Python开发中的关键应用,包括自动化测试,爬虫和数据分析,感兴趣的小伙伴可以了解下
在自动化测试、爬虫开发或 Web 数据分析中，XPath（XML Path Language） 是一种强大的工具，用于在 HTML/XML 文档中精准定位元素。Python 的 lxml、selenium 和 scrapy 等库都支持 XPath，使其成为开发者必备的技能之一。
本文将详细介绍 XPath 的基本语法、Python 中的使用方法，并通过 实战案例 帮助你快速掌握 XPath 定位技巧。
1. XPath 是什么
XPath 是一种用于在 XML/HTML 文档中导航和选择节点的查询语言。它可以通过 路径表达式 定位元素，支持层级关系、属性匹配、条件筛选等高级功能。
XPath 的优势
- 精准定位：比 CSS 选择器更灵活，支持复杂查询。
- 跨浏览器兼容：适用于所有浏览器（如 Chrome、Firefox、Edge）。
- 支持动态内容：可结合
selenium定位动态加载的元素。 - 适用于爬虫：
scrapy和lxml均支持 XPath 解析 HTML。
2. XPath 基本语法
2.1 基本路径表达式
| 表达式 | 说明 | 示例 |
|---|---|---|
/ | 从根节点开始 | /html/body/div |
// | 从任意节点开始（不限制层级） | //div（所有 <div>） |
. | 当前节点 | ./div（当前节点的 <div>） |
.. | 父节点 | //div/..（<div> 的父节点） |
@ | 匹配属性 | //div[@class="header"] |
2.2 条件筛选（谓词[]）
| 表达式 | 说明 | 示例 |
|---|---|---|
[1] | 第一个匹配的元素 | //div[1]（第一个 <div>） |
[@id="xxx"] | 匹配特定属性 | //input[@id="username"] |
[contains(@class, "xxx")] | 属性包含某值 | //div[contains(@class, "header")] |
[starts-with(@class, "xxx")] | 属性以某值开头 | //div[starts-with(@class, "col-")] |
[text()="xxx"] | 匹配文本内容 | //p[text()="Hello"] |
[last()] | 最后一个匹配的元素 | //div[last()] |
2.3 逻辑运算符
| 运算符 | 说明 | 示例 |
|---|---|---|
and | 逻辑与 | //div[@class="a" and @id="b"] |
or | 逻辑或 | //div[@class="a" or @class="b"] |
not() | 逻辑非 | //div[not(@class)]（无 class 的 <div>） |
3. Python 中使用 XPath
3.1 使用lxml解析 HTML（适用于爬虫）
from lxml import etree
html = """
<html>
<body>
<div class="header">
<h1>Welcome</h1>
<p class="desc">This is a demo.</p>
</div>
</body>
</html>
"""
# 解析 HTML
tree = etree.HTML(html)
# 使用 XPath 定位元素
h1 = tree.xpath('//h1/text()')[0] # 获取 <h1> 的文本
desc = tree.xpath('//p[@class="desc"]/text()')[0] # 获取 <p class="desc"> 的文本
print(f"Title: {h1}") # 输出: Welcome
print(f"Description: {desc}") # 输出: This is a demo.
3.2 使用selenium定位动态元素（适用于自动化测试）
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com")
# 使用 XPath 定位元素
element = driver.find_element(By.XPATH, '//input[@id="username"]')
element.send_keys("admin")
# 定位多个元素
elements = driver.find_elements(By.XPATH, '//div[contains(@class, "item")]')
for el in elements:
print(el.text)
driver.quit()
3.3 使用scrapy爬取数据（适用于爬虫开发）
import scrapy
class ExampleSpider(scrapy.Spider):
name = "example"
start_urls = ["https://example.com"]
def parse(self, response):
# 使用 XPath 提取数据
titles = response.xpath('//h1/text()').getall()
links = response.xpath('//a/@href').getall()
for title, link in zip(titles, links):
yield {
"title": title.strip(),
"url": link,
}
4. XPath 实战案例
案例 1：定位动态加载的按钮
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://demo.seleniumeasy.com/dynamic-loading-example.html")
# 等待按钮出现并点击
button = driver.find_element(
By.XPATH,
'//div[contains(@class, "btn-primary")][@id="startButton"]'
)
button.click()
案例 2：爬取电商网站商品信息
import requests
from lxml import etree
url = "https://example.com/products"
response = requests.get(url)
tree = etree.HTML(response.text)
# 提取商品名称和价格
products = tree.xpath('//div[@class="product-item"]')
for product in products:
name = product.xpath('.//h2/text()')[0].strip()
price = product.xpath('.//span[@class="price"]/text()')[0].strip()
print(f"{name}: {price}")
案例 3：定位表格中的特定行
from selenium import webdriver
from selenium.webdriver.common.by import By
driver = webdriver.Chrome()
driver.get("https://example.com/table-demo")
# 定位第二行的第三列（索引从 1 开始）
cell = driver.find_element(
By.XPATH,
'//table//tr[2]/td[3]'
)
print(cell.text)
5. XPath 调试技巧
浏览器开发者工具：
- 按
F12打开 DevTools。 - 按
Ctrl+F输入 XPath 测试是否匹配目标元素。
try-except 处理异常：
try:
element = driver.find_element(By.XPATH, '//div[@id="non-existent"]')
except Exception as e:
print(f"定位失败: {e}")
使用 contains() 避免 class 顺序问题：
# 错误写法（如果 class 顺序变化会失效） '//div[@class="flex size-36"]' # 正确写法（推荐） '//div[contains(@class, "flex") and contains(@class, "size-36")]'
6. 总结
- XPath 是一种强大的定位工具，适用于
lxml、selenium、scrapy等 Python 库。 - 基本语法 包括
/、//、@、[]等，支持条件筛选和逻辑运算。 - 实战技巧：
- 使用
contains()避免class顺序问题。 - 结合
selenium定位动态元素。 - 在浏览器中调试 XPath 确保准确性。
- 使用
掌握 XPath 后，你可以更高效地完成 Web 自动化测试、爬虫开发、数据分析 等任务。希望本文能帮助你快速上手 XPath！
到此这篇关于Python使用XPath定位元素的入门实战指南的文章就介绍到这了,更多相关Python XPath定位元素内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
Python是一门强大的编程语言,但在将Python代码分享给其他人时,让他们安装Python解释器并运行脚本可能有点繁琐,这时,将Python代码打包成可执行的应用程序（.exe）可以大大简化这个过程,本文将介绍几种常用的方法,轻松地将Python代码变成独立的可执行文件2023-12-12
这篇文章主要介绍了Python高级编程之继承问题,结合实例形式详细分析了Python多继承、MRO顺序及super调用父类等相关操作技巧,需要的朋友可以参考下2019-11-11
解决pip安装报错required to install pyproject.toml-based projec
这篇文章主要介绍了解决pip安装报错required to install pyproject.toml-based projects问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-05-05
这篇文章主要介绍了Pytorch技法之继承Subset类完成自定义数据拆分,下文我们介绍一些下面是加载内置训练数据集的常见操作，需要的小伙伴可以参考一下2022-02-02
这篇文章主要介绍了Python MD5加密实例详解的相关资料,这里提供实现方法及实例，需要的朋友可以参考下2017-08-08
这篇文章主要介绍了python 生成器和迭代器的原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
这篇文章主要介绍了Spring @Enable模块驱动原理及使用实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
这篇文章主要介绍了Python 爬取淘宝商品信息栏目的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
这篇文章主要介绍了Python接口自动化浅析数据驱动原理,文中会详细描述怎样使用openpyxl模块操作excel及结合ddt来实现数据驱动，有需要的朋友可以参考下2021-08-08
Python2.x利用commands模块执行Linux shell命令
这篇文章主要介绍了Python2.x利用commands模块执行Linux shell命令 的相关资料,需要的朋友可以参考下2016-03-03
最新评论