python爬虫 使用真实浏览器打开网页的两种方法总结

 更新时间:2018年04月21日 15:00:52   作者:枫奇  
下面小编就为大家分享一篇python爬虫 使用真实浏览器打开网页的两种方法总结,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

1.使用系统自带库 os

这种方法的优点是,任何浏览器都能够使用, 缺点不能自如的打开一个又一个的网页

import os 
os.system('"C:/Program Files/Internet Explorer/iexplore.exe" http://www.baidu.com') 

2.使用python 集成的库 webbroswer

python的webbrowser模块支持对浏览器进行一些操作,主要有以下三个方法:

import webbrowser 
webbrowser.open(url, new=0, autoraise=True) 
webbrowser.open_new(url) 
webbrowser.open_new_tab(url) 

他们虽然是三个方法, 其实还是一个方法, 只是传递的参数不同

webbrowser.open(url, new=0, autoraise=True) 在系统的默认浏览器中访问url地址,如果new=0, url会在同一个

浏览器窗口中打开;如果new=1,新的浏览器窗口会被打开;new=2 新的浏览器tab会被打开

其他的两个函数 webbrowser.open_new(url),webbrowser.open_new_tab(url)其实都是返回了webbrowser.open() 这个方法

只是他们没有其他的两个参数了。

在调用其他的浏览器的时候需要提前注册, 否则打开页面的是默认浏览器

import webbrowser 
chromePath = r'你的浏览器目录'   # 例如我的:D:\Google\Chrome\Application\chrome.exe 
webbrowser.register('chrome', None, webbrowser.BackgroundBrowser(chromePath)) #这里的'chrome'可以用其它任意名字,如chrome111,这里将想打开的浏览器保存到'chrome' 
webbrowser.get('chrome').open('www.baidu.com',new=1,autoraise=True) 

webbrowser 这个库锁支持的浏览器类型如下:

 Type Name Class Name Notes 
 'mozilla' Mozilla('mozilla') 
 'firefox' Mozilla('mozilla') 
 'netscape' Mozilla('netscape') 
 'galeon' Galeon('galeon') 
 'epiphany' Galeon('epiphany') 
 'skipstone' BackgroundBrowser('skipstone') 
 'kfmclient' Konqueror() (1) 
 'konqueror' Konqueror() (1) 
 'kfm' Konqueror() (1) 
 'mosaic' BackgroundBrowser('mosaic') 
 'opera' Opera() 
 'grail' Grail() 
 'links' GenericBrowser('links') 
 'elinks' Elinks('elinks') 
 'lynx' GenericBrowser('lynx') 
 'w3m' GenericBrowser('w3m') 
 'windows-default' WindowsDefault (2) 
 'macosx' MacOSX('default') (3) 
 'safari' MacOSX('safari') (3) 
 'google-chrome' Chrome('google-chrome') 
 'chrome' Chrome('chrome') 
 'chromium' Chromium('chromium') 
 'chromium-browser' Chromium('chromium-browser')

这些内容都可以在 源文件中看到, 路径为: python2.7/libs/webbroser.py

以上这篇python爬虫 使用真实浏览器打开网页的两种方法总结就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 盘点20个Python数据科学库神器打造数据魔法世界

    盘点20个Python数据科学库神器打造数据魔法世界

    数据科学家和分析师常常使用 Python 来处理数据、进行分析和可视化,Python生态系统中有许多库,但有一些库是数据科学家日常工作中必不可少的,本文将深入介绍20个重要的Python 库,包括示例代码和用例
    2024-01-01
  • Python 离线工作环境搭建的方法步骤

    Python 离线工作环境搭建的方法步骤

    这篇文章主要介绍了Python 离线工作环境搭建的方法步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-07-07
  • Python3 sort和sorted用法+cmp_to_key()函数详解

    Python3 sort和sorted用法+cmp_to_key()函数详解

    这篇文章主要介绍了Python3 sort和sorted用法+cmp_to_key()函数详解,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-07-07
  • Python排序搜索基本算法之希尔排序实例分析

    Python排序搜索基本算法之希尔排序实例分析

    这篇文章主要介绍了Python排序搜索基本算法之希尔排序,简单说明了希尔排序的原理并结合实例形式分析了Python实现希尔排序的具体操作技巧,需要的朋友可以参考下
    2017-12-12
  • Python Selenium中等待设置的实现

    Python Selenium中等待设置的实现

    本文主要介绍了Python Selenium中等待设置的实现,过详实的示例代码,深入介绍了显式等待、隐式等待、自定义等待条件、多重等待条件、页面加载状态的等待、元素存在与可见性等待、Fluent等待以及异步JavaScript加载的等待,感兴趣的可以了解一下
    2023-12-12
  • Python利用format函数实现对齐打印(左对齐、右对齐与居中对齐)

    Python利用format函数实现对齐打印(左对齐、右对齐与居中对齐)

    format是字符串内嵌的一个方法,用于格式化字符串,下面这篇文章主要给大家介绍了关于Python利用format函数实现对齐打印(左对齐、右对齐与居中对齐)的相关资料,需要的朋友可以参考下
    2022-04-04
  • 对Python中list的倒序索引和切片实例讲解

    对Python中list的倒序索引和切片实例讲解

    今天小编就为大家分享一篇对Python中list的倒序索引和切片实例讲解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • NumPy中np.random.rand函数的实现

    NumPy中np.random.rand函数的实现

    np.random.rand是NumPy库中的一个函数,用于生成随机数,本文主要介绍了NumPy中np.random.rand函数的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-07-07
  • 利用scikitlearn画ROC曲线实例

    利用scikitlearn画ROC曲线实例

    这篇文章主要介绍了利用scikitlearn画ROC曲线实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-07-07
  • Python中格式化字符串的方法总结

    Python中格式化字符串的方法总结

    字符串格式化是一项常见且重要的操作,用于动态生成包含变量内容的字符串,本文为大家整理一些常用的格式化字符串方法,希望对大家有所帮助
    2024-10-10

最新评论