在linux系统下部署selenium爬虫程序介绍

 更新时间:2021年11月25日 17:02:04   作者:崔子末  
大家好,本篇文章主要讲的是在linux系统下部署selenium爬虫程序介绍,感兴趣的同学速来围观哦,记得收藏本篇文章方便下次浏览

前言

我这里是工作需要把selenium 爬虫程序部署到Linux 服务器上面 顺便跟大家交流一下 如果有兴趣的话可以看一下


一、selenium是什么?

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样, 爬虫用它来抓取一些js动态加载的数据

二、使用步骤

1.引入库

代码如下

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options  # 使用无头浏览器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉浏览器正在受到自动测试软件的控制
options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless")  # => 为Chrome配置无头模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2.测试代码

代码如下:

s = Service(r"/home/driver/chromedriver")
driver = Chrome(
     service=s, options=chrome_options
 )
 driver.get("https://www.baidu.com")
 print(diiver.title)

三、部署程序

1.安装chrome

命令如下:

yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
检查chrome的版本
google-chrome --version

2.安装chromedriver驱动

命令如下:

按照对应的chrome版本下载chromedriver驱动
地址: https://npm.taobao.org/mirrors/chromedriver
我的版本号是: 96.0.4664.45
wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip 
yum install -y unzip zip
unzip chromedriver_linux64.zip # 解压zip文件
mkdir driver #新建文件夹用来存放驱动
chmod 777 driver/chromedriver # 这是权限 我这里给的是 777

3.运行测试代码

新建test.py文件

vi test.py

在这里插入图片描述

保存 test.py run 一下看看

在这里插入图片描述

看到这个我么就算请求成功了

总结

到此这篇关于在linux系统下部署selenium爬虫程序介绍的文章就介绍到这了,更多相关linux selenium爬虫程序内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 关于Apache shiro实现一个账户同一时刻只有一个人登录(shiro 单点登录)

    关于Apache shiro实现一个账户同一时刻只有一个人登录(shiro 单点登录)

    今天和同事在一起探讨shiro如何实现一个账户同一时刻只有一session存在的问题,下面小编把核心代码分享到脚本之家平台,需要的朋友参考下
    2017-09-09
  • Linux 使用vi文本编辑器详解

    Linux 使用vi文本编辑器详解

    这篇文章主要介绍了Linux 使用vi文本编辑器详解的相关资料,需要的朋友可以参考下
    2023-03-03
  • Win10 + Ubuntu 16.04双系统完美安装教程【详细】

    Win10 + Ubuntu 16.04双系统完美安装教程【详细】

    这篇文章主要介绍了Win10 + Ubuntu 16.04双系统完美安装教程,本文图文并茂给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-10-10
  • Apache ab并发负载压力测试实现方法

    Apache ab并发负载压力测试实现方法

    Apache的ab命令模拟多线程并发请求,测试服务器负载压力,也可以测试nginx、lighthttp、IIS等其它Web服务器的压力
    2019-09-09
  • ubuntu14.04安装opencv3.0.0的操作方法

    ubuntu14.04安装opencv3.0.0的操作方法

    下面小编就为大家分享一篇ubuntu14.04安装opencv3.0.0的操作方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2017-12-12
  • yum 命令使用讲解

    yum 命令使用讲解

    这篇文章主要介绍了yum 命令使用讲解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-07-07
  • 概述Linux TTY/PTS的区别

    概述Linux TTY/PTS的区别

    这篇文章主要介绍了概述Linux TTY/PTS的区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12
  • LNAMP架构中后端Apache获取用户真实IP地址的2种方法

    LNAMP架构中后端Apache获取用户真实IP地址的2种方法

    Nginx作为前端,Apache作为后端的情况下,Apache只能获取到Nginx前端的ip地址(127.0.0.1),而无法获取到用户的真实ip地址,在这种情况下,后端Apache如何获取用户真实IP地址?
    2014-03-03
  • linux nc命令小结

    linux nc命令小结

    这篇文章主要介绍了linux nc命令小结,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-01-01
  • Linux下安装php加速软件Xcache的方法

    Linux下安装php加速软件Xcache的方法

    这篇文章主要介绍了Linux下安装php加速软件Xcache的方法,需要的朋友可以参考下
    2015-07-07

最新评论