Python爬虫必备之XPath解析库

更新时间：2021年06月10日 09:45:11 作者：红豆窦

今天给大家带来的是Python爬虫的相关知识,文章围绕着XPath解析库展开,文中有非常详细的代码示例及介绍,需要的朋友可以参考下

一、简介

XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。

Xpath解析库介绍：数据解析的过程中使用过正则表达式, 但正则表达式想要进准匹配难度较高, 一旦正则表达式书写错误, 匹配的数据也会出错。

网页由三部分组成: HTML, Css, JavaScript, HTML页面标签存在层级关系, 即DOM树, 在获取目标数据时可以根据网页层次关系定位标签, 在获取标签的文本或属性。

二、安装

pip install lxml

三、节点

3.1 选取节点

XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。下面列出了最有用的路径表达式：

表达式	描述
nodename	选取此节点的所有子节点。
/	从根节点选取。
//	从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
…	选取当前节点的父节点。
.	选取当前节点。
@	选取属性。

3.2 选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

通配符	描述
*	匹配任何元素节点。
@*	匹配任何属性节点。
node()	匹配任何类型的节点。

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

路径表达式	结果
/bookstore/*	选取 bookstore 元素的所有子元素。
//*	选取文档中的所有元素。
//title[@*]	选取所有带有属性的 title 元素。

3.3 节点关系

父（Parent）

每个元素以及属性都有一个父。
在下面的例子中，book 元素是 title、author、year 以及 price 元素的父：

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

子（Children）

元素节点可有零个、一个或多个子。
在下面的例子中，title、author、year 以及 price 元素都是 book 元素的子：

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

同胞（Sibling）

拥有相同的父的节点
在下面的例子中，title、author、year 以及 price 元素都是同胞：

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

先辈（Ancestor）

某节点的父、父的父，等等。
在下面的例子中，title 元素的先辈是 book 元素和 bookstore 元素：

<bookstore>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

后代（Descendant）

某个节点的子，子的子，等等。
在下面的例子中，bookstore 的后代是 book、title、author、year 以及 price 元素：

<bookstore>

<book>
  <title>Harry Potter</title>
  <author>J K. Rowling</author>
  <year>2005</year>
  <price>29.99</price>
</book>

</bookstore>

四、XPath实例

爬取糗事百科

import requests
# 导包
from lxml import etree
import os
base_url = 'https://www.qiushibaike.com/video/'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}
res = requests.get(url=base_url, headers=headers)
html = res.content.decode('utf-8')
# xpath解析
tree = etree.HTML(html)
# 标题
content = tree.xpath('//*/a/div[@class="content"]/span/text()')
# 视频
video_list = tree.xpath('//*/video[@controls="controls"]/source/@src')
index = 0
for i in video_list:
    # 获取视频二进制流
    video_content = requests.get(url= 'https:' + i,headers=headers).content
    # 标题
    title_1 = content[0].strip('\n')
    # 将视频二进制写入文件
    with open(f'Video/{title_1}.mp4','wb') as f:
        f.write(video_content)
    index += 1

到此这篇关于Python爬虫必备之XPath解析库的文章就介绍到这了,更多相关XPath解析库内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python
XPath

OpenCV+Python几何变换的实现示例
这篇文章主要介绍了OpenCV+Python几何变换的实现示例，图像的几何变换是指将一幅图像映射到另一幅图像内。有缩放、翻转、仿射变换、透视、重映射等操作。感兴趣的可以了解一下
2021-03-03
python逆向微信指数爬取实现步骤
这篇文章主要为大家介绍了python逆向微信指数爬取的实现步骤，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪
2022-02-02
Pycharm中配置Jupyter环境的图文教程
本文主要介绍了Pycharm中配置Jupyter环境的图文教程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-07-07
基于Python编写一个微博抽奖小程序
本文将利用Python编写一个微博抽奖小程序，梦想总是要有的，万一靠在微博上自动抽奖暴富了呢~文中的示例代码讲解详细，感兴趣的可以了解一下
2022-05-05
python实现感知机线性分类模型示例代码
这篇文章主要给大家介绍了关于python实现感知机线性分类模型的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2019-06-06
Pycharm搭建一个Django项目的方法步骤
本文主要介绍了Pycharm搭建一个Django项目的方法步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-02-02
python matplotlib画图实例代码分享
这篇文章主要介绍了python matplotlib画图实例代码分享，具有一定借鉴价值,需要的朋友可以参考下
2017-12-12
pygame游戏之旅添加icon和bgm音效的方法
这篇文章主要为大家详细介绍了pygame游戏之旅的第14篇，教大家如何添加icon和bgm音效，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-11-11
pandas.loc 选取指定列进行操作的实例
今天小编就为大家分享一篇pandas.loc 选取指定列进行操作的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-05-05
python3利用venv配置虚拟环境及过程中的小问题小结
这篇文章主要介绍了python3利用venv配置虚拟环境及过程中的小问题小结，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-08-08