脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python selenium chromedriver 爬虫

python+selenium+chromedriver实现爬虫示例代码

 更新时间：2020年04月10日 10:11:43   作者：茶哩  
这篇文章主要介绍了python+selenium+chromedriver实现爬虫示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

下载好所需程序

1.Selenium简介

Selenium是一个用于Web应用程序测试的工具，直接运行在浏览器中，就像真正的用户在操作一样。

2.Selenium安装

方法一：在Windows命令行（cmd）输入pip install selenium即可自动安装，安装完成后，输入pip show selenium可查看当前的版本

方法二：直接下载selenium包：

selenium下载网址

Pychome安装selenium如果出现无法安装，参考以下博客
解决Pycharm无法使用已经安装Selenium的问题

3.禁止谷歌浏览器自动更新

搜索本地：管理工具-服务-Google自动更新服务-选择禁止

安装浏览器对应的驱动driver
我这里用的是谷歌，选择对应的驱动版本

驱动的下载地址如下：

http://chromedriver.storage.googleapis.com/index.html


win32、win64的都下载win32.zip的

将下载的chromedriver进行解压，并将文件复制或移动到，浏览器快捷方式所在目录。

环境变量配置
1.Python环境配置
2.chromedriver环境配置
3.pychrome的python环境指向自己电脑安装好的python

注意：将下载好的chromewebdriver.exe驱动放在Python的安装路径下的Scripts里面，同时将Scripts路径添加到PATH中，这样每次运行python的时候就会自动加载驱动

代码实现

#已经准备环境：webdriver:Google已经安装好；环境变量配置好；pip install selenium;
#selenium是一个包，包有很多对象，对象有属性，方法。
from selenium import webdriver
browser=webdriver.Chrome()#打开浏览器
url="https://news.qq.com/zt2020/page/feiyan.htm#/global?nojump=1"#获取数据的地址
#请求浏览器内容：请求方式：get,post,token
browser.get(url)
#css选择器，id选择器：#开头，class选择器：.开头，标签选择器：p,span,div。
coronavirus_countent=browser.find_element_by_class_name('d')#定位到class选择器d这个内容
print(coronavirus_countent)#查看内容，session,一种缓存机制，通过浏览器解析，然后缓存的内容
# <selenium.webdriver.remote.webelement.WebElement (session="a1aa22161543b44f599e97b35dbc1ac5", element="fe645993-43cb-46cf-83a7-2488dd3d838a")>
print(coronavirus_countent.text)#查看当前css.class中的d的内容

coronavirus_time=browser.find_element_by_class_name('ml')#定位到class选择器d这个内容
print(coronavirus_time.text)


coronavirus_data=browser.find_element_by_class_name('nowConfirm')#定位到class选择器d这个内容
print("=======")
print(coronavirus_data.text)

print("=====找nowConfirm下面的字内容")
coronavirus_sub=coronavirus_data.find_element_by_class_name('addnum')
print(coronavirus_sub.text)
browser.quit()

到此这篇关于python+selenium+chromedriver实现爬虫示例代码的文章就介绍到这了,更多相关python selenium chromedriver 爬虫内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • Python编程之微信推送模板消息功能示例

    Python编程之微信推送模板消息功能示例

    这篇文章主要介绍了Python编程之微信推送模板消息功能,结合实例形式分析了Python微信推送消息接口的调用相关操作技巧,需要的朋友可以参考下
    2017-08-08
  • Django与数据库交互的实现

    Django与数据库交互的实现

    最近在学习Django，本文主要介绍了Django与数据库交互的实现，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-06-06
  • 关于Numpy中数组维度的理解

    关于Numpy中数组维度的理解

    这篇文章主要介绍了关于Numpy中数组维度的理解,多维Numpy数组也可以叫张量(tensor),当前所有机器学习系统都是使用张量作为基本数据结构,张量是一个数据容器,它包含的数据几乎是数值数据,因此它也是数字的容器,需要的朋友可以参考下
    2023-09-09
  • wxPython窗口中文乱码解决方法

    wxPython窗口中文乱码解决方法

    这篇文章主要介绍了wxPython窗口中文乱码解决方法,在Python程序设计中比较常见,是非常实用的技巧,需要的朋友可以参考下
    2014-10-10
  • Django如何使用asyncio协程和ThreadPoolExecutor多线程

    Django如何使用asyncio协程和ThreadPoolExecutor多线程

    这篇文章主要介绍了Django如何使用asyncio协程和ThreadPoolExecutor多线程,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-10-10
  • python ChainMap的使用详解

    python ChainMap的使用详解

    chainMap是逻辑上合并两个字典为一个逻辑单元，合并后的结构实际上是一个列表，只是逻辑上是仍然为一个字典（并未生成新的），对此列表的操作模拟了各种字典的操作，这篇文章主要介绍了python ChainMap的使用,需要的朋友可以参考下
    2023-03-03
  • python中的selenium实现自动向下滚动页面并指定最大滑动距离

    python中的selenium实现自动向下滚动页面并指定最大滑动距离

    这篇文章主要介绍了python中的selenium实现自动向下滚动页面并指定最大滑动距离，下文有关selenium的资料介绍有一定的参考价值，需要的小伙伴可以参考一下
    2022-02-02
  • Python PyQt5学习之自定义信号

    Python PyQt5学习之自定义信号

    PyQ5已经自动定义了很多QT自建的信号。但是在实际的使用中为了灵活使用信号与槽机制，可以根据需要自定义信号。本文就将为大家详细讲讲PyQt5自定义信号，感兴趣的可以了解一下
    2022-03-03
  • Python标准库之sqlite3使用实例

    Python标准库之sqlite3使用实例

    这篇文章主要介绍了Python标准库之sqlite3使用实例,本文讲解了创建数据库、插入数据、查询数据、更新与删除数据操作实例,需要的朋友可以参考下
    2014-11-11
  • 已安装Pytorch却提示no moudle named 'torch'(没有名称为torch的模块)

    已安装Pytorch却提示no moudle named 'torch'(没有名称为torch

    这篇文章主要给大家介绍了关于已安装Pytorch却提示no moudle named 'torch'(没有名称为torch的模块)的相关资料,当提示"No module named 'torch'"时,可能是由于安装的Pytorch版本与当前环境不匹配导致的,需要的朋友可以参考下
    2023-11-11

最新评论