在linux系统下部署selenium爬虫程序介绍

 更新时间:2021年11月25日 17:02:04   作者:崔子末  
大家好,本篇文章主要讲的是在linux系统下部署selenium爬虫程序介绍,感兴趣的同学速来围观哦,记得收藏本篇文章方便下次浏览

前言

我这里是工作需要把selenium 爬虫程序部署到Linux 服务器上面 顺便跟大家交流一下 如果有兴趣的话可以看一下


一、selenium是什么?

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样, 爬虫用它来抓取一些js动态加载的数据

二、使用步骤

1.引入库

代码如下

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options  # 使用无头浏览器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉浏览器正在受到自动测试软件的控制
options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless")  # => 为Chrome配置无头模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2.测试代码

代码如下:

s = Service(r"/home/driver/chromedriver")
driver = Chrome(
     service=s, options=chrome_options
 )
 driver.get("https://www.baidu.com")
 print(diiver.title)

三、部署程序

1.安装chrome

命令如下:

yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
检查chrome的版本
google-chrome --version

2.安装chromedriver驱动

命令如下:

按照对应的chrome版本下载chromedriver驱动
地址: https://npm.taobao.org/mirrors/chromedriver
我的版本号是: 96.0.4664.45
wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip 
yum install -y unzip zip
unzip chromedriver_linux64.zip # 解压zip文件
mkdir driver #新建文件夹用来存放驱动
chmod 777 driver/chromedriver # 这是权限 我这里给的是 777

3.运行测试代码

新建test.py文件

vi test.py

在这里插入图片描述

保存 test.py run 一下看看

在这里插入图片描述

看到这个我么就算请求成功了

总结

到此这篇关于在linux系统下部署selenium爬虫程序介绍的文章就介绍到这了,更多相关linux selenium爬虫程序内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • linux系统安装msf的过程详解

    linux系统安装msf的过程详解

    这篇文章主要介绍了linux系统安装msf的过程,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-05-05
  • gdb调试中设置监控点watch,rwatch,awatch的区别及说明

    gdb调试中设置监控点watch,rwatch,awatch的区别及说明

    这篇文章主要介绍了gdb调试中设置监控点watch,rwatch,awatch的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • Apache多虚拟主机多站点配置的两种实现方案

    Apache多虚拟主机多站点配置的两种实现方案

    本文介绍了在Apache服务器上配置多虚拟主机的两种方案:基于IP地址的虚拟主机配置和基于域名的虚拟主机配置,详细说明了每个方案的配置步骤,以实现在同一台服务器上托管多个网站的目的,感兴趣的可以了解一下
    2024-09-09
  • Ubuntu服务器下搭建php运行环境的方法

    Ubuntu服务器下搭建php运行环境的方法

    这篇文章主要介绍了Ubuntu服务器下搭建php运行环境的方法,简单分析了Ubuntu操作系统环境下搭建Apache、php及mysql模块相关步骤、命令与操作技巧,需要的朋友可以参考下
    2018-04-04
  • Linux自带的logrotate管理日志用法

    Linux自带的logrotate管理日志用法

    Linux系统中,logrotate工具用于管理和轮转日志文件,防止系统因日志文件过大导致磁盘爆满,通过配置/etc/logrotate.conf和/etc/logrotate.d/下的文件,用户可以定义日志处理规则,如压缩、备份
    2024-10-10
  • ubuntu下chorme提示输入秘钥环的解决方法

    ubuntu下chorme提示输入秘钥环的解决方法

    这篇文章主要给大家介绍了ubuntu下chorme提示输入秘钥环的解决方法,文中介绍的非常详细,对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。
    2017-04-04
  • Linux 下dmidecode查看内存条数的命令介绍

    Linux 下dmidecode查看内存条数的命令介绍

    下面小编就为大家带来一篇Linux 下dmidecode查看内存条数的命令介绍。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2016-11-11
  • 详解Centos7源码编译安装 php7.2之生产篇

    详解Centos7源码编译安装 php7.2之生产篇

    这篇文章主要介绍了详解Centos7源码编译安装 php7.2之生产篇,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-06-06
  • ubuntu中snap包的安装、更新删除与简单使用

    ubuntu中snap包的安装、更新删除与简单使用

    Ubuntu 16.04引入了snap包管理,它是一种全新的软件包安装管理方式。它和dpkg/apt有本质的区别。下面这篇文章就来给大家详细介绍了关于ubuntu中snap包的安装、更新删除与简单使用的相关资料,需要的朋友可以参考借鉴,下面随着小编来一起学习学习吧。
    2017-11-11
  • Ubuntu环境编译安装PHP和Nginx的方法

    Ubuntu环境编译安装PHP和Nginx的方法

    这篇文章主要介绍了Ubuntu环境编译安装PHP和Nginx的方法,较为详细的分析了Ubuntu环境编译安装PHP和Nginx的具体步骤、相关命令与操作技巧,需要的朋友可以参考下
    2019-08-08

最新评论