Python3实现抓取javascript动态生成的html网页功能示例
更新时间：2017年08月22日 11:57:23 作者：罗兵
这篇文章主要介绍了Python3实现抓取javascript动态生成的html网页功能,结合实例形式分析了Python3使用selenium库针对javascript动态生成的HTML网页元素进行抓取的相关操作技巧,需要的朋友可以参考下
本文实例讲述了Python3实现抓取javascript动态生成的html网页功能。分享给大家供大家参考，具体如下：
用urllib等抓取网页，只能读取网页的静态源文件，而抓不到由javascript生成的内容。
究其原因，是因为urllib是瞬时抓取，它不会等javascript的加载延迟，所以页面中由javascript生成的内容，urllib读取不到。
那由javascript生成的内容就真的没有办法读取了吗？非也！
这里要介绍一个python库：selenium，本文使用的版本是 2.44.0
先安装：
pip install -U selenium
下面用三个例子来说明其用法：
【例0】
打开一个Firefox浏览器
载入所给url地址的页面
from selenium import webdriver
browser = webdriver.Firefox()
browser.get('http://www.baidu.com/')
【例1】
打开一个Firefox浏览器
载入百度主页
搜索 “seleniumhq”
关闭浏览器
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
browser = webdriver.Firefox()
browser.get('http://www.baidu.com')
assert '百度' in browser.title
elem = browser.find_element_by_name('p') # Find the search box
elem.send_keys('seleniumhq' + Keys.RETURN) # 模拟按键
browser.quit()
【例2】
Selenium WebDriver 常用于网络程序的测试。 下面是一个使用Python标准库 unittest 的例子:
import unittest
class BaiduTestCase(unittest.TestCase):
def setUp(self):
self.browser = webdriver.Firefox()
self.addCleanup(self.browser.quit)
def testPageTitle(self):
self.browser.get('http://www.baidu.com')
self.assertIn('百度', self.browser.title)
if __name__ == '__main__':
unittest.main(verbosity=2)
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python进程与线程操作技巧总结》、《Python Socket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
相关文章
Python深度学习实战PyQt5窗口切换的堆叠布局示例详解
本文以堆叠窗口控件为例，详细介绍堆叠布局的界面设计和程序实现过程，通过案例带小白创建一个典型的堆叠布局多窗口切换程序2021-10-10
这篇文章主要介绍了Python运算符重载用法,实例分析了几种常见的Python运算符重载的使用技巧,需要的朋友可以参考下2015-06-06
这篇文章主要介绍了python数组的复制与列表中的pop， Python 中复制数组有只需使用赋值运算符、浅拷贝、深拷贝三种方法，下文详细内容需要的小伙伴可以参考一下2022-04-04
这篇文章主要介绍了Python netmiko模块的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
使用jupyter notebook保存python代码为.py格式问题
这篇文章主要介绍了使用jupyter notebook保存python代码为.py格式问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-07-07
解决pandas无法在pycharm中使用plot()方法显示图像的问题
今天小编就为大家分享一篇解决pandas无法在pycharm中使用plot()方法显示图像的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要给大家介绍了关于python中如何用time方法生成当前时间年月日时分秒的相关资料,在Python中与时间处理有关的模块就包括:time,datetime以及calendar,Time模块用以取得系统时间相关的信息和时间的格式化等操作,需要的朋友可以参考下2023-08-08
python通过paramiko复制远程文件及文件目录到本地
这篇文章主要为大家详细介绍了python通过paramiko复制远程文件及文件目录到本地，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-04-04
本文详细介绍了在 Python 中将数字转换为字母的几种常用方法，我们介绍了使用 chr() 函数、string 模块和 ord() 函数等方法，并提供了示例代码帮助你理解和应用这些方法，感兴趣的朋友跟随小编一起看看吧2023-06-06
矩阵是matrix类型的对象,该类继承自numpy.ndarray,任何针对ndarray的操作,对矩阵对象同样有效,下面这篇文章主要给大家介绍了关于Python numpy生成矩阵基础的相关资料,需要的朋友可以参考下2022-08-08
最新评论