Python使用selenium + headless chrome获取网页内容的方法示例
更新时间：2019年10月16日 11:43:00 作者：JouyPub
这篇文章主要介绍了Python使用selenium + headless chrome获取网页内容的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
使用python写爬虫时，优选selenium，由于PhantomJS因内部原因已经停止更新，最新版的selenium已经使用headless chrome替换掉了PhantomJS，所以建议将selenium更新到最新版，使用selenium + headless chrome
准备工作：
安装chrome、chrome driver、selenium
一、安装chrome
配置yum下载源，在目录/etc/yum.repos.d/下新建文件google-chrome.repo
> cd /ect/yum.repos.d/ > vim google-chrome.repo
编辑google-chrome.repo，内容如下，保存退出
[google-chrome] name=google-chrome baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch enabled=1 gpgcheck=1 gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub
安装google chrome浏览器：
> yum -y install google-chrome-stable
PS: Google官方源可能在中国无法使用，导致安装失败或者在国内无法更新，可以添加以下参数来安装：
> yum -y install google-chrome-stable --nogpgcheck
这样，google chrome即可安装成功。
二、安装chrome driver
查看上述安装的chrome版本，根据版本选择对应的chrome driver下载，下载之后放到/usr/local/bin目录
三、安装selenium
> pip install selenium
上述准备工作完成后，就可以开始写代码了
from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
options = Options()
options.add_argument('--headless')
options.add_argument('--disable-gpu')
options.add_argument('lang=zh_CN.UTF-8')
# 在linux上需要添加一下两个参数
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
browser = Chrome(chrome_options=options)
browser.set_page_load_timeout(30)
browser.set_script_timeout(30)
browser.get(url)
# 获取返回内容
print browser.page_source
# 查找元素
print browser.find_element_by_tag_name('pre').text
备注：如果访问一些详情页有cookie验证，可以先访问主页，然后再访问详情页，webdriver会自动携带cookie
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
pytorch dataloader 取batch_size时候出现bug的解决方式
今天小编就为大家分享一篇pytorch dataloader 取batch_size时候出现bug的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
由于PYTHON2.7即将停止支持，小编给大家分享了一篇关python2.7到3.x迁移指南内容，希望对各位有用。2018-02-02
这篇文章主要介绍了Django 如何实现图片上传和下载功能，帮助大家更好的理解和使用django框架，感兴趣的朋友可以了解下2020-12-12
这篇文章主要介绍了如何利用Python和Pygame库绘制一个简单的时钟效果。文中的示例代码讲解详细，对我们学习Python有一定帮助，需要的可以参考一下2022-02-02
本文主要介绍了Python+Django实现接口测试工具，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-07-07
这篇文章主要为大家详细介绍了如何利用Python实现删除重复文件功能，文中的示例代码讲解详细，对我们学习Python有一定帮助，需要的可以参考一下2022-10-10
这篇文章较详细的给大家介绍了python re模块的高级用法，本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友参考下吧2018-06-06
math库是python的内置数学类函数库，支持整数和浮点数运算，math模块下的函数，返回值均为浮点数，除非有说明，math模块提供类似C语言标准定义的数学函数2022-08-08
代码的可维护性除了代码冗余之外还有就是数据尽量不要和代码掺杂在一起，因为阅读起来会非常的凌乱；数据分离能更好的增加代码可读性和可维护性，也能更好的二次修改使用2021-09-09
这篇文章主要介绍了用Python从零实现贝叶斯分类器的教程,朴素贝叶斯算法属于机器学习中的基础内容、实用而高效，本文详细展示了用Python语言实现的步骤，需要的朋友可以参考下2015-03-03
最新评论