Python使用XPath定位元素的入门实战指南

更新时间：2026年04月23日 08:13:55 作者：detayun

XPath是一种强大的XML/HTML文档定位语言,支持精准元素查询和复杂条件筛选,本文介绍了XPath在Python开发中的关键应用,包括自动化测试,爬虫和数据分析,感兴趣的小伙伴可以了解下

1. XPath 是什么

XPath 是一种用于在 XML/HTML 文档中导航和选择节点的查询语言。它可以通过 路径表达式 定位元素，支持层级关系、属性匹配、条件筛选等高级功能。

XPath 的优势

精准定位：比 CSS 选择器更灵活，支持复杂查询。
跨浏览器兼容：适用于所有浏览器（如 Chrome、Firefox、Edge）。
支持动态内容：可结合 selenium 定位动态加载的元素。
适用于爬虫：scrapy 和 lxml 均支持 XPath 解析 HTML。

2. XPath 基本语法

2.1 基本路径表达式

表达式	说明	示例
`/`	从根节点开始	`/html/body/div`
`//`	从任意节点开始（不限制层级）	`//div`（所有 `<div>`）
`.`	当前节点	`./div`（当前节点的 `<div>`）
`..`	父节点	`//div/..`（`<div>` 的父节点）
`@`	匹配属性	`//div[@class="header"]`

2.2 条件筛选（谓词[]）

表达式	说明	示例
`[1]`	第一个匹配的元素	`//div[1]`（第一个 `<div>`）
`[@id="xxx"]`	匹配特定属性	`//input[@id="username"]`
`[contains(@class, "xxx")]`	属性包含某值	`//div[contains(@class, "header")]`
`[starts-with(@class, "xxx")]`	属性以某值开头	`//div[starts-with(@class, "col-")]`
`[text()="xxx"]`	匹配文本内容	`//p[text()="Hello"]`
`[last()]`	最后一个匹配的元素	`//div[last()]`

2.3 逻辑运算符

运算符	说明	示例
`and`	逻辑与	`//div[@class="a" and @id="b"]`
`or`	逻辑或	`//div[@class="a" or @class="b"]`
`not()`	逻辑非	`//div[not(@class)]`（无 `class` 的 `<div>`）

3. Python 中使用 XPath

3.1 使用lxml解析 HTML（适用于爬虫）

from lxml import etree

html = """
<html>
    <body>
        <div class="header">
            <h1>Welcome</h1>
            <p class="desc">This is a demo.</p>
        </div>
    </body>
</html>
"""

# 解析 HTML
tree = etree.HTML(html)

# 使用 XPath 定位元素
h1 = tree.xpath('//h1/text()')[0]  # 获取 <h1> 的文本
desc = tree.xpath('//p[@class="desc"]/text()')[0]  # 获取 <p class="desc"> 的文本

print(f"Title: {h1}")  # 输出: Welcome
print(f"Description: {desc}")  # 输出: This is a demo.

3.2 使用selenium定位动态元素（适用于自动化测试）

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://example.com")

# 使用 XPath 定位元素
element = driver.find_element(By.XPATH, '//input[@id="username"]')
element.send_keys("admin")

# 定位多个元素
elements = driver.find_elements(By.XPATH, '//div[contains(@class, "item")]')
for el in elements:
    print(el.text)

driver.quit()

3.3 使用scrapy爬取数据（适用于爬虫开发）

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    start_urls = ["https://example.com"]

    def parse(self, response):
        # 使用 XPath 提取数据
        titles = response.xpath('//h1/text()').getall()
        links = response.xpath('//a/@href').getall()

        for title, link in zip(titles, links):
            yield {
                "title": title.strip(),
                "url": link,
            }

4. XPath 实战案例

案例 1：定位动态加载的按钮

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://demo.seleniumeasy.com/dynamic-loading-example.html")

# 等待按钮出现并点击
button = driver.find_element(
    By.XPATH,
    '//div[contains(@class, "btn-primary")][@id="startButton"]'
)
button.click()

案例 2：爬取电商网站商品信息

import requests
from lxml import etree

url = "https://example.com/products"
response = requests.get(url)
tree = etree.HTML(response.text)

# 提取商品名称和价格
products = tree.xpath('//div[@class="product-item"]')
for product in products:
    name = product.xpath('.//h2/text()')[0].strip()
    price = product.xpath('.//span[@class="price"]/text()')[0].strip()
    print(f"{name}: {price}")

案例 3：定位表格中的特定行

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://example.com/table-demo")

# 定位第二行的第三列（索引从 1 开始）
cell = driver.find_element(
    By.XPATH,
    '//table//tr[2]/td[3]'
)
print(cell.text)

5. XPath 调试技巧

浏览器开发者工具：

按 F12 打开 DevTools。
按 Ctrl+F 输入 XPath 测试是否匹配目标元素。

try-except 处理异常：

try:
    element = driver.find_element(By.XPATH, '//div[@id="non-existent"]')
except Exception as e:
    print(f"定位失败: {e}")

使用 contains() 避免 class 顺序问题：

# 错误写法（如果 class 顺序变化会失效）
'//div[@class="flex size-36"]'

# 正确写法（推荐）
'//div[contains(@class, "flex") and contains(@class, "size-36")]'

6. 总结

XPath 是一种强大的定位工具，适用于 lxml、selenium、scrapy 等 Python 库。
基本语法 包括 /、//、@、[] 等，支持条件筛选和逻辑运算。
实战技巧：
- 使用 contains() 避免 class 顺序问题。
- 结合 selenium 定位动态元素。
- 在浏览器中调试 XPath 确保准确性。

掌握 XPath 后，你可以更高效地完成 Web 自动化测试、爬虫开发、数据分析 等任务。希望本文能帮助你快速上手 XPath！

到此这篇关于Python使用XPath定位元素的入门实战指南的文章就介绍到这了,更多相关Python XPath定位元素内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

python交互模式下输入换行/输入多行命令的方法
这篇文章主要介绍了python交互模式下输入换行/输入多行命令的方法,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
2019-07-07
基于Pandas实现竖向拼接多个DataFrame对象的几种常用方法
在pandas模块中,通常我们都需要对类型为DataFrame的数据进行操作,其中最为常见的操作便是拼接了,在Python中,可以使用pandas库的concat()函数或append()方法来竖向（按行）拼接多个DataFrame对象,本文介绍了几种常用的方法,需要的朋友可以参考下
2025-09-09
PyAV 基础及使用方法分享
这篇文章主要介绍了PyAV 基础及使用方法分享的相关资料,需要的朋友可以参考下
2023-08-08
python实时分析日志的一个小脚本分享
这篇文章主要给大家分享了一个实时分析日志的python小脚本，文中给出了详细的介绍和示例代码供大家参考学习，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起看看吧。
2017-05-05
YOLOv5改进之添加CBAM注意力机制的方法
注意力机制最先被用在NLP领域,Attention就是为了让模型认识到数据中哪一部分是最重要的,为它分配更大的权重,获得更多的注意力在一些特征上,让模型表现更好,这篇文章主要给大家介绍了关于YOLOv5改进之添加CBAM注意力机制的相关资料,需要的朋友可以参考下
2022-11-11
python中私有函数调用方法解密
这篇文章主要介绍了python中私有函数调用方法,较为详细的分析了Python私有函数的原理与调用技巧,需要的朋友可以参考下
2016-04-04
一文教你使用Python绘制丝滑的K线图
K线图是将各种股票某一时间单位内的开盘价,收盘价,最高价,最低价,通过绘图方式表现出来的一种图形,下面我们来看看如何使用Python实现丝滑绘制K线图吧
2025-04-04
Python Tkinter Treeview组件核心方法详解与实战
Treeview是Tkinter中ttk模块的一个控件,用以展示树状结构或表格数据,Treeview 在 Tk 中没有控件,所以必须导入 tkinter.ttk(),本文将讲述Treeview的核心方法,感兴趣的朋友跟随小编一起看看吧
2025-11-11
Django项目实战之用户头像上传与访问的示例
这篇文章主要介绍了Django项目实战之用户头像上传与访问的示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-04-04
python常见运算符及用法小结
python中的运算符主要包括算术运算符，关系(比较)运算符，赋值运算符，逻辑运算符，成员运算符，身份运算符，三目运算符。使用运算符将不同类型的数据按照一定的规则连接起来的式子，称为表达式。下面将介绍一些常用的运算符
2022-08-08