python+selenium+chromedriver实现爬虫示例代码

 更新时间:2020年04月10日 10:11:43   作者:茶哩  
这篇文章主要介绍了python+selenium+chromedriver实现爬虫示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

下载好所需程序

1.Selenium简介

Selenium是一个用于Web应用程序测试的工具,直接运行在浏览器中,就像真正的用户在操作一样。

2.Selenium安装

方法一:在Windows命令行(cmd)输入pip install selenium即可自动安装,安装完成后,输入pip show selenium可查看当前的版本

方法二:直接下载selenium包:

selenium下载网址

Pychome安装selenium如果出现无法安装,参考以下博客
解决Pycharm无法使用已经安装Selenium的问题

3.禁止谷歌浏览器自动更新

搜索本地:管理工具-服务-Google自动更新服务-选择禁止

安装浏览器对应的驱动driver
我这里用的是谷歌,选择对应的驱动版本

驱动的下载地址如下:

http://chromedriver.storage.googleapis.com/index.html


win32、win64的都下载win32.zip的

将下载的chromedriver进行解压,并将文件复制或移动到,浏览器快捷方式所在目录。

环境变量配置
1.Python环境配置
2.chromedriver环境配置
3.pychrome的python环境指向自己电脑安装好的python

注意:将下载好的chromewebdriver.exe驱动放在Python的安装路径下的Scripts里面,同时将Scripts路径添加到PATH中,这样每次运行python的时候就会自动加载驱动

代码实现

#已经准备环境:webdriver:Google已经安装好;环境变量配置好;pip install selenium;
#selenium是一个包,包有很多对象,对象有属性,方法。
from selenium import webdriver
browser=webdriver.Chrome()#打开浏览器
url="https://news.qq.com/zt2020/page/feiyan.htm#/global?nojump=1"#获取数据的地址
#请求浏览器内容:请求方式:get,post,token
browser.get(url)
#css选择器,id选择器:#开头,class选择器:.开头,标签选择器:p,span,div。
coronavirus_countent=browser.find_element_by_class_name('d')#定位到class选择器d这个内容
print(coronavirus_countent)#查看内容,session,一种缓存机制,通过浏览器解析,然后缓存的内容
# <selenium.webdriver.remote.webelement.WebElement (session="a1aa22161543b44f599e97b35dbc1ac5", element="fe645993-43cb-46cf-83a7-2488dd3d838a")>
print(coronavirus_countent.text)#查看当前css.class中的d的内容

coronavirus_time=browser.find_element_by_class_name('ml')#定位到class选择器d这个内容
print(coronavirus_time.text)


coronavirus_data=browser.find_element_by_class_name('nowConfirm')#定位到class选择器d这个内容
print("=======")
print(coronavirus_data.text)

print("=====找nowConfirm下面的字内容")
coronavirus_sub=coronavirus_data.find_element_by_class_name('addnum')
print(coronavirus_sub.text)
browser.quit()

到此这篇关于python+selenium+chromedriver实现爬虫示例代码的文章就介绍到这了,更多相关python selenium chromedriver 爬虫内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python中翻译功能translate模块实现方法

    python中翻译功能translate模块实现方法

    在本篇文章中小编给各位整理了一篇关于python中翻译功能translate模块实现方法,有需要的朋友们可以参考下。
    2020-12-12
  • Flask框架钩子函数功能与用法分析

    Flask框架钩子函数功能与用法分析

    这篇文章主要介绍了Flask框架钩子函数功能与用法,简单描述了flask框架钩子函数的概念、功能并结合实例形式分析了flask框架钩子函数的基本用法,需要的朋友可以参考下
    2019-08-08
  • Python进程的通信Queue、Pipe实例分析

    Python进程的通信Queue、Pipe实例分析

    这篇文章主要介绍了Python进程的通信Queue、Pipe,结合实例形式分析了Python进程通信Queue、Pipe基本概念、用法及操作注意事项,需要的朋友可以参考下
    2020-03-03
  • 教你利用python的matplotlib(pyplot)绘制折线图和柱状图

    教你利用python的matplotlib(pyplot)绘制折线图和柱状图

    Python绘图需要下载安装matplotlib模块,它是一个数学绘图库,我们将使用它来制作简单的图表,如折线图和散点图,下面这篇文章主要给大家介绍了关于利用python的matplotlib(pyplot)绘制折线图和柱状图的相关资料,需要的朋友可以参考下
    2022-05-05
  • python获取本机mac地址和ip地址的方法

    python获取本机mac地址和ip地址的方法

    这篇文章主要介绍了python获取本机mac地址和ip地址的方法,涉及Python获取系统相关信息的技巧,需要的朋友可以参考下
    2015-04-04
  • opencv python简易文档之图片基本操作指南

    opencv python简易文档之图片基本操作指南

    OpenCv除了可以获取图像之外,还可以对图像进行一下处理操作,下面这篇文章主要给大家介绍了关于opencv python简易文档之图片基本操作的相关资料,需要的朋友可以参考下
    2021-08-08
  • 详解python中的Turtle函数库

    详解python中的Turtle函数库

    这篇文章主要介绍了python中的Turtle函数库,包括函数库的引用方式,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2018-11-11
  • Python实现修改图片分辨率(附代码)

    Python实现修改图片分辨率(附代码)

    这篇文章主要介绍了Python通过ffmpeg实现修改图片分辨率,文中的代码介绍详细,对我们的工作或学习有一定的价值,感兴趣的小伙伴可以学习一下
    2021-12-12
  • Python实现简单http服务器

    Python实现简单http服务器

    这篇文章主要为大家详细介绍了Python实现一个简单http服务器,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-04-04
  • Macbook air m1安装python/anaconda全过程(图文)

    Macbook air m1安装python/anaconda全过程(图文)

    这篇文章主要介绍了Macbook air m1安装python/anaconda全过程(图文),文中通过图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-03-03

最新评论