在linux系统下部署selenium爬虫程序介绍

 更新时间:2021年11月25日 17:02:04   作者:崔子末  
大家好,本篇文章主要讲的是在linux系统下部署selenium爬虫程序介绍,感兴趣的同学速来围观哦,记得收藏本篇文章方便下次浏览

前言

我这里是工作需要把selenium 爬虫程序部署到Linux 服务器上面 顺便跟大家交流一下 如果有兴趣的话可以看一下


一、selenium是什么?

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样, 爬虫用它来抓取一些js动态加载的数据

二、使用步骤

1.引入库

代码如下

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options  # 使用无头浏览器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉浏览器正在受到自动测试软件的控制
options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless")  # => 为Chrome配置无头模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2.测试代码

代码如下:

s = Service(r"/home/driver/chromedriver")
driver = Chrome(
     service=s, options=chrome_options
 )
 driver.get("https://www.baidu.com")
 print(diiver.title)

三、部署程序

1.安装chrome

命令如下:

yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
检查chrome的版本
google-chrome --version

2.安装chromedriver驱动

命令如下:

按照对应的chrome版本下载chromedriver驱动
地址: https://npm.taobao.org/mirrors/chromedriver
我的版本号是: 96.0.4664.45
wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip 
yum install -y unzip zip
unzip chromedriver_linux64.zip # 解压zip文件
mkdir driver #新建文件夹用来存放驱动
chmod 777 driver/chromedriver # 这是权限 我这里给的是 777

3.运行测试代码

新建test.py文件

vi test.py

在这里插入图片描述

保存 test.py run 一下看看

在这里插入图片描述

看到这个我么就算请求成功了

总结

到此这篇关于在linux系统下部署selenium爬虫程序介绍的文章就介绍到这了,更多相关linux selenium爬虫程序内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Linux程序运行时加载动态库失败的解决方法

    Linux程序运行时加载动态库失败的解决方法

    今天小编就为大家分享一篇关于Linux程序运行时加载动态库失败的解决方法,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-04-04
  • Apache实现本地建立泛域名虚拟主机的方法

    Apache实现本地建立泛域名虚拟主机的方法

    这篇文章主要介绍了Apache实现本地建立泛域名虚拟主机的方法,简单介绍了Apache泛域名虚拟主机的具体创建步骤与相关技巧,需要的朋友可以参考下
    2016-05-05
  • 在Apache服务器上安装SSL支持的教程

    在Apache服务器上安装SSL支持的教程

    这篇文章主要介绍了在Apache服务器上安装SSL支持的教程,SSL协议是目前运用最广泛的加密协议,本文演示环境基于Ubuntu,需要的朋友可以参考下
    2015-06-06
  • Linux中的EXT系列文件系统格式详解

    Linux中的EXT系列文件系统格式详解

    这篇文章主要给大家介绍了关于Linux中EXT系列文件系统格式的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Linux系统具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-06-06
  • Apache服务器一个IP多个站点的配置方法示例

    Apache服务器一个IP多个站点的配置方法示例

    这篇文章主要介绍了Apache服务器一个IP多个站点的配置方法示例,本文介绍的方法其实就是虚拟主机的方式,需要的朋友可以参考下
    2015-07-07
  • CentOS6.5下Tomcat7 Nginx Redis配置步骤教程详解

    CentOS6.5下Tomcat7 Nginx Redis配置步骤教程详解

    这篇文章主要介绍了CentOS6.5下Tomcat7 Nginx Redis配置步骤,本文给大家介绍的非常详细,具有参考借鉴价值,需要的朋友可以参考下
    2016-10-10
  • SpringBoot整合Activiti7的实现代码

    SpringBoot整合Activiti7的实现代码

    这篇文章主要介绍了SpringBoot整合Activiti7的实现代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-11-11
  • 使用PSSH批量管理Linux服务器

    使用PSSH批量管理Linux服务器

    pssh是python开发的一个用来批量管理linux主机的工具,现在我们来介绍pssh的使用方法。
    2018-09-09
  • linux使用find和crontab命令定期清理过期文件

    linux使用find和crontab命令定期清理过期文件

    这篇文章主要给大家介绍了linux系统下使用find和crontab命令定期清理过期文件的方法,文中先对find和crontab命令进行了详细的介绍,相信对大家的理解和学习具有一定的参考借鉴价值,下面来一起看看吧。
    2016-12-12
  • centos8使用Apache httpd2.4.37安装web服务器的步骤详解

    centos8使用Apache httpd2.4.37安装web服务器的步骤详解

    这篇文章主要介绍了centos8使用Apache httpd2.4.37安装web服务器的步骤详解,本文分步骤给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-08-08

最新评论