浅谈selenium如何应对网页内容需要鼠标滚动加载的问题

 更新时间:2020年03月14日 16:02:05   作者:wumxiaozhu  
这篇文章主要介绍了浅谈selenium如何应对网页内容需要鼠标滚动加载的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

相信大家在selenium爬取网页的时候都遇到过这样的问题:就是网页内容需要用鼠标滚动加载剩余内容,而不是一次全部加载出网页的全部内容,这个时候如果要模拟翻页的时候就必须加载出全部的内容,不然定位元素会找不到,出现报错。

这里提供两种方法供大家参考

一,通过selenium模拟浏览器,然后设置浏览器高度足够长,最后延时使之能够将页面的内容都能够加载出来

import time
from selenium import webdriver
driver = webdriver.Firefox()
driver.set_window_size(1000,30000)
driver.get(url)
time.sleep(5)

二,通过selenium模拟浏览器下拉操作

from selenium import webdriver
import time
browser.execute_script("window.scrollBy(0,3000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,5000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,8000)")
time.sleep(1)

补充知识:针对懒加载如何实现selenium 滑动至页面底部page_source一次性包含全部网页内容

有时网站使用了懒加载技术:只有在浏览器中纵向滚动条滚动到指定的位置时,页面的元素才会被动态加载。

注意,在加载之前,selenium的page_source是不会包含该页面的内容,page_source只包含加载出来的页面内容。

那么如何实现加载全部内容了,就需要模拟人滚动滚动条的行为,实现页面的加载

from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
 
  def scroll_until_loaded(self):
    check_height = self.browser.execute_script("return document.body.scrollHeight;")
    while True:
      self.browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
      try:
        self.wait.until(lambda driver: self.browser.execute_script("return document.body.scrollHeight;") > check_height)
        check_height = self.browser.execute_script("return document.body.scrollHeight;")
      except TimeoutException:
        break

这里懒加载并不是一直有效, 当网速不好时,加载超过self.wait()时间, 页面还没加载出来时, 会认为全部加载完成, page_source里面的代码就会是以前加载出来的, 所以执行翻页操作后, 要执行time.sleep(3), 等待网页加载, 更新html再获取网页源代码

以上这篇浅谈selenium如何应对网页内容需要鼠标滚动加载的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 进一步探究Python的装饰器的运用

    进一步探究Python的装饰器的运用

    这篇文章主要介绍了更为深入的Python的装饰器的运用,Python的装饰器是Python学习进阶当中的重要知识点,需要的朋友可以参考下
    2015-05-05
  • python得到qq句柄,并显示在前台的方法

    python得到qq句柄,并显示在前台的方法

    今天小编就为大家分享一篇python得到qq句柄,并显示在前台的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • Python中getpass模块无回显输入源码解析

    Python中getpass模块无回显输入源码解析

    这篇文章主要介绍了Python中getpass模块无回显输入源码解析,具有一定借鉴价值,需要的朋友可以参考下
    2018-01-01
  • python把列表中的字符串转成整型的3种方法详解

    python把列表中的字符串转成整型的3种方法详解

    这篇文章主要介绍了python把列表中的字符串转成整型的3种方法详解,python中在不同类型数据转换方面是有标准库的,使用非常方便,但是在开发中,经常在list中字符转成整形的数据方便遇到问题,需要的朋友可以参考下
    2023-07-07
  • Python 删除整个文本中的空格,并实现按行显示

    Python 删除整个文本中的空格,并实现按行显示

    今天小编就为大家分享一篇Python 删除整个文本中的空格,并实现按行显示,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07
  • Python pip安装第三方库实现过程解析

    Python pip安装第三方库实现过程解析

    这篇文章主要介绍了Python pip安装第三方库实现过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-07-07
  • 在Python中实现决策树算法的示例代码

    在Python中实现决策树算法的示例代码

    决策树(Decision Tree)是一种常见的机器学习算法,被广泛应用于分类和回归任务中,并且再其之上的随机森林和提升树等算法一直是表格领域的最佳模型,所以本文将介绍理解其数学概念,并在Python中动手实现,这可以作为了解这类算法的基础知识
    2023-08-08
  • pytorch神经网络从零开始实现多层感知机

    pytorch神经网络从零开始实现多层感知机

    这篇文章主要为大家介绍了pytorch神经网络从零开始实现多层感知机的示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步
    2021-10-10
  • 基于Python实现在线加密解密网站系统

    基于Python实现在线加密解密网站系统

    在这个数字化时代,数据的安全和隐私变得越来越重要,所以本文小编就来带大家实现一个简单但功能强大的加密解密系统,并深入探讨它是如何工作的,有兴趣的可以了解下
    2023-09-09
  • Python针对给定列表中元素进行翻转操作的方法分析

    Python针对给定列表中元素进行翻转操作的方法分析

    这篇文章主要介绍了Python针对给定列表中元素进行翻转操作的方法,结合实例形式分析了Python针对列表元素基于切片及遍历输出两种翻转操作实现技巧,具有一定参考借鉴价值,需要的朋友可以参考下
    2018-04-04

最新评论