Python爬虫实现selenium处理iframe作用域问题
更新时间：2021年01月27日 09:29:27 作者：Master先生
这篇文章主要介绍了Python爬虫实现selenium处理iframe作用域问题，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
项目场景：
在使用selenium模块进行数据爬取时，通常会遇到爬取iframe中的内容。会因为定位的作用域问题爬取不到数据。
问题描述：
我们以菜鸟教程的运行实例为案例。
按照正常的定位
会以文本块生成xpath为/html/body/text()。这样的话根据xpath进行如下代码编写。
#!/user/bin/
# -*- coding:UTF-8 -*-
# Author:Master
from selenium import webdriver
import time
driver = webdriver.Chrome(executable_path="./chromedriver")
driver.get('https://www.runoob.com/try/runcode.php?filename=HelloWorld&type=python3')
time.sleep(2)
text = driver.find_element_by_xpath('/html/body').text
print(text)
time.sleep(5)
driver.quit()
执行结果：
很明显这并不是想要的结果。
原因分析：
当我们打开抓包工具定位到Hello, World!文本的时候会发现，该文本是在一个iframe中。这样的话我们xpath所定位到的内容则是大的html中的路径。我们需要的内容则是在iframe中的小的html中。
解决方案：
通过分析发现，想要解决问题的实质就是改变作用域。通过switch_to.frame(‘id')方法来改变作用域就可以了。
重新编写代码：
#!/user/bin/
# -*- coding:UTF-8 -*-
# Author:Master
from selenium import webdriver
import time
driver = webdriver.Chrome(executable_path="./chromedriver")
driver.get('https://www.runoob.com/try/runcode.php?filename=HelloWorld&type=python3')
time.sleep(2)
driver.switch_to.frame('iframeResult')
text = driver.find_element_by_xpath('/html/body').text
print(text)
time.sleep(5)
driver.quit()
查看运行结果：
到此这篇关于Python爬虫实现selenium处理iframe作用域问题的文章就介绍到这了,更多相关selenium iframe作用域内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
今天小编就为大家分享一篇Python 判断图像是否读取成功的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
Tornado Web Server框架编写简易Python服务器
这篇文章主要为大家详细介绍了Tornado Web Server框架编写简易Python服务器，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-07-07
光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的相应关系,这篇文章主要给大家介绍了关于OpenCV中光流以及视频特征点追踪的相关资料,需要的朋友可以参考下2021-08-08
这篇文章主要介绍了Python中的变量和数据类型详情，变量不需要声明即可使用，向变量赋值即定义变量，python中的数据类型包括数值类型、列表、元组等内容，下面文章的详细介绍，需要的小伙伴可以参考一下2022-03-03
这篇文章主要介绍了如何利用PyQT5制作一个桌面摸鱼工具，利用摸鱼，打开小说，可实行完美摸鱼，实时保存进度，快来跟随小编一起动手试一试吧2022-02-02
这篇文章主要介绍了搞笑的程序猿：看看你是哪种Python程序员,不久前,在互联网上出现了一篇有趣的文章,讲的是对于同一个问题,不同层次的Python程序员编出的Python代码，显示出了不同的风格,代码都很简单,有趣,需要的朋友可以参考下2015-06-06
flask_paginate是Flask框架的一个分页扩展,用于处理分页相关的功能,本文就来介绍一下Flask Paginate实现表格分页的使用示例,感兴趣的可以了解一下2023-11-11
这篇文章主要介绍了Python 变量作用域的相关资料，文中讲解非常细致，代码帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
这篇文章主要介绍了pycharm配置git(图文教程),文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
这篇文章主要介绍了python ConfigParser库的使用及遇到的坑，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-02-02
最新评论