Scrapy元素选择器Xpath用法汇总
众所周知，在设计爬虫时，最麻烦的一步就是对网页元素进行分析，目前流行的网页元素获取的工具有BeautifulSoup，lxml等，而据我使用的体验而言，Scrapy的元素选择器Xpath（结合正则表达式）是其中较为出色的一种（个人认为最好啦，当然只能在Scrapy中使用）功能相对较全、使用较为方便，正因为它的丰富性，有时很多功能会忘记，所以在这里整理好记录下来，方便今后查阅使用。
1. 元素的多级定位与跳级定位
多级定位：依靠html中的多级元素逐步缩小范围
response.xpath('//table/tbody/tr/td')
//如果知道元素所属的下标可以用下标选择
response.xpath('//table/tbody/tr[1]/td')
跳级定位：符号“//”表示跳级定位，即对当前元素的所有层数的子元素（不仅是第一层子元素）进行查找，一般xpath的开头都是跳级定位
response.xpath('//span//table')
2. 依靠元素的属性定位
每个html元素都有很多属性，如id、class、title、href、text(href和text往往可以配合正则表达式）等，这些属性往往具有很强的特殊性，结合元素多级定位或跳级定位会更准确高效，下面举几个典型的例子，其他的举一反三
利用class定位
response.xpath('//td[@class="mc_content"]')
利用href配合正则表达式定位
response.xpath('//a[re:test(@href,"^\/index\.php\?m=News&a=details&id=1&NewsId=\d{1,4}")]')
利用text结合正则表达式定位
a=response.xpath('//a[re:test(text(),"\w{4}")]')
此外，xpath还有对于html元素操作的两个实用的函数（可以用正则表达式代替）——starts-with和contains；
a=response.xpath('//a[starts-with(@title,"注册时间")]')
a=response.xpath('//a[contains(text(),"闻")]')
3. 提取元素或元素的属性值
首先是最基本的extract()函数，提取被定为的元素对象
a=response.xpath('//a[contains(text(),"闻")]').extract()
//如果被定为的元素对象有多个，可以有用下标指定
a=response.xpath('//a[contains(text(),"闻")]').extract()[1]
提取元素的属性
//提取text
a=response.xpath('//a[contains(text(),"闻")]/text()').extract()
//获取href
a=response.xpath('//a[contains(text(),"闻")]/@href').extract()
//获取name
a=response.xpath('//a[contains(text(),"闻")]/@name').extract()
此时我们的正则表达式又闲不住了（scrapy自带的函数），可以对提取的元素进行选择
//对href中的部分字符串进行选择
response.xpath('//a[@name="_l_p_n"]/@href').re('\/s.*?list\.htm')
在这里关于xpath的所有用法基本总结完毕，只是由于xpath是对静态元素进行匹配选择，对于javascript往往束手无策，这时不得不用一个自动化测试工具——selenium，可以实现各种动态事件和静态元素的选择，只是selenium往往比较吃内存，响应时间也比较慢，对于大型的爬虫任务尽量不要使用，毕竟有一些javascript元素是内嵌在网页代码中的，这时候结合万能的正则表达式，xpath往往能够实现。如下：
link = re.search("javascript:goToPage\('(.*?)'", value) //value为包含该段的字符串
到此这篇关于Scrapy元素选择器Xpath用法汇总的文章就介绍到这了,更多相关Scrapy元素选择器Xpath 内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
今天小编就为大家分享一篇关于Python3转换html到pdf的不同解决方案，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-03-03
这篇文章主要介绍了python for循环如何实现控制步长，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-05-05
在使用python对网页进程访问时,以防被禁止,可用使用代理IP的方法减少被禁的可能，下面这篇文章主要给大家介绍了关于python单例模式获取IP代理的相关资料，需要的朋友可以参考借鉴，下面来一起看看吧2018-09-09
本项目主要功能是爬取部分哔哩哔哩up主信息和up主投稿视频信息，用作数据处理与分析学习(不得用于商业和其他侵犯他人权益的用途)。有此需求的朋友可以了解下本项目2021-06-06
QChart是一个QGraphicScene中可以显示的QGraphicsWidget。本文将利用QtChart实现曲线图的绘制，文中的示例代码讲解详细，感兴趣的小伙伴可以了解一下2022-12-12
这篇文章主要介绍了Python 经典贪心算法之Prim算法案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下2021-09-09
今天在使用 Pandas 的 to_sql 方法时,遇到一些问题,所以下面这篇文章主要给大家介绍了关于Python pandas中to_sql的使用及问题的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-12-12
今天小编就为大家分享一篇pymysql 插入数据 转义处理方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
今天小编就为大家分享一篇浅谈解除装饰器作用(python3新增)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
这篇文章主要给大家介绍了关于python读取文件由于编码问题失败汇总以及解决办法的相关资料,文件编码错误指的是在Python读取文件的过程中出现的编码不匹配的问题,需要的朋友可以参考下2023-10-10
最新评论