教你如何使用Python selenium

 更新时间:2021年06月06日 10:39:19   作者:布小禅  
今天教大家如何使用Python selenium,本文会以艺龙旅游网为对象,进行selenium的学习,目的:爬取艺龙网中南阳市唐河县的酒店信息,包括:名字,电话,标间价格,地址,介绍,图片,需要的朋友可以参考下

一、了解selenium

Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome、Firefox、Safar等浏览器(需要下载驱动),之前是用来做测试网站的,后来发现也可以用来爬取数据(估计开发者都没想到他开发的selenium被别人广泛适用于爬虫领域——笑)。

二、selenium的下载

1.我这里是使用的Chrom浏览器 !注意不要忽视这个地方

2.python中selenium库的下载(pycharm系列)

由于我用的pycharm的虚拟环境,所以我只需要在pycharm的终端下载第三方库就行了,简单,方便,pycharm真是个好用的东西——O(∩_∩)O~

  • 打开pycharm
  • 打开pycharm的终端
  • 输入pip install selenium -i https://pypi.doubanio.com/simple (这是使用国内镜像网站下载selenium,下载速度较快)
  • 等待片刻,结束
  • pip list ——查看自己下载的第三方库,检查是否成功

3.python中selenium库的下载(cmd系列)

  • win+R输入cmd
  • 打开cmd
  • 输入pip install selenium -i https://pypi.doubanio.com/simple (这是使用国内镜像网站下载selenium,下载速度较快)
  • 等待片刻,结束
  • pip list ——查看自己下载的第三方库,检查是否成功

4.selenium驱动的下载(官网都是英文,看不懂)

  • 打开你的Chrom浏览器查看你是什么版本的(帮助->about chrom),查看版本号
  • 点击右边这个蓝色的小可爱,没错我是小可爱 ,找到与你的chrom浏览器版本相匹配的(没有匹配的,相近的也可以,win都是32位的),下载
  • 没了,没错,你没看错,真的没了

5.selenium的环境配置,没错又是这个烦人的环境配置 真想给他一脚

  • 想必,这个时候已经下载好了吧
  • 下载好以后,很简单,解压,然后——看3
  • 最好(但是不是必要)创建一个文件夹放你解压出来的geckodriver,然后复制你这个文件当前的路径(ctrl + c)
  • 打开环境变量(此电脑->右键->属性->高级系统配置->环境变量),在系统变量找到path,新建,ctrl + v
  • 完事

6.打开你的pycharm,新建一个py文件去写出以下代码

from selenium import webdriver
import time
# 导入时间包和selenium包
huohu = webdriver.Chrome()
# 创建一个chome的selenium对象
huohu.get("http://www.elong.com/")
# 打开网站
huohu.quit()
# 退出

写好后,运行
好,报错了,对,报错了,可能你们不会报错,反正我报错了

报错信息是:selenium.common.exceptions.WebDriverException: Message: ‘chromedriver' executable needs to be in PATH.

意思是,你需要吧chromdriver放到路径,我照着做了,可是呢,还是这个报错!

这是什么情况??明明我是按照教程来的啊

着急的我去群里请求大佬,大佬们直接无视我——::>_<::

然后又去找它——>脚本之家,左翻翻,右找找,终于找到了解决方案:

将chromdriver放在python解释器的位置,我照着做了之后,就成功了。。。

好家伙,上面教程不是说随便放的吗?…

哎,人与人之间最基本的信任都没有了

三、selenium的基本使用

from selenium import webdriver
# 导包
driver = webdriver.Chrome()
# 创建一个浏览器对象
driver.get("https://m.elong.com/")
# 访问艺龙网
driver.quit()
# 关闭浏览器,也可以不关闭,但是最好关闭,养成一个打开后不忘记关闭的好习惯

然后我们就会发现,浏览器界面一闪而过(为什么?因为页面渲染完成后,就直接退出了),那么如何才能让我们能够观察到呢?有请我们的time模块,让它睡会儿,就能观察到了
这样改

from selenium import webdriver
import time
# 导包
driver = webdriver.Chrome()
driver.get("https://m.elong.com/")
time.sleep(5)
# 页面渲染完成后让它睡5s,这样就能观察到了
driver.quit()

OK,看到,代码替我们打开了这个网址,并且展示了5s后关闭了

四、结语

好了,相信大家已经学会如何使用筷子了,那么让我们去动用我们的筷子去把这个网站抓下来吧——笑,玩个老梗
今天的笔记就到这里了(主要是不想写了,一天当然不可能只学会点这玩意),拜拜

到此这篇关于教你如何使用Python selenium的文章就介绍到这了,更多相关Python selenium内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • xpath无法定位tbody标签解决方法示例

    xpath无法定位tbody标签解决方法示例

    这篇文章主要介绍了xpath无法定位tbody标签解决方法示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-09-09
  • Python基于BeautifulSoup爬取京东商品信息

    Python基于BeautifulSoup爬取京东商品信息

    这篇文章主要介绍了Python基于BeautifulSoup爬取京东商品信息,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • Python中urllib2模块的8个使用细节分享

    Python中urllib2模块的8个使用细节分享

    这篇文章主要介绍了Python中urllib2模块的8个使用细节分享,本文讲解了Proxy设置、Timeout设置、加入特定Header、Redirect、Cookie、PUT和DELETE方法等内容,需要的朋友可以参考下
    2015-01-01
  • python之模拟鼠标键盘动作具体实现

    python之模拟鼠标键盘动作具体实现

    这篇文章主要介绍了python之模拟鼠标键盘动作具体实现,有需要的朋友可以参考一下
    2013-12-12
  • python实现简单成绩录入系统

    python实现简单成绩录入系统

    这篇文章主要为大家详细介绍了python实现简单成绩录入系统,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-09-09
  • 使用python编写udp协议的ping程序方法

    使用python编写udp协议的ping程序方法

    下面小编就为大家分享一篇使用python编写udp协议的ping程序方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • Python实战项目刮刮乐的实现详解流程

    Python实战项目刮刮乐的实现详解流程

    读万卷书不如行万里路,只学书上的理论是远远不够的,只有在实战中才能获得能力的提升,本篇文章手把手带你用Python实现一个刮刮乐的小项目,大家可以在过程中查缺补漏,提升水平
    2021-11-11
  • Python3基础之list列表实例解析

    Python3基础之list列表实例解析

    这篇文章主要介绍了Python3的list列表用法,这是Python3数据类型中非常常见的应用,需要的朋友可以参考下
    2014-08-08
  • 基于selenium及python实现下拉选项定位select

    基于selenium及python实现下拉选项定位select

    这篇文章主要介绍了基于selenium及python实现下拉选项定位select,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-07-07
  • python实现一次创建多级目录的方法

    python实现一次创建多级目录的方法

    这篇文章主要介绍了python实现一次创建多级目录的方法,涉及Python中os模块makedirs方法的使用技巧,非常简单实用,需要的朋友可以参考下
    2015-05-05

最新评论