脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python selenium 获取接口数据

python selenium 获取接口数据的实现

 更新时间：2020年12月07日 14:30:16   作者：CyborgLin  
这篇文章主要介绍了python selenium 获取接口数据的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

python selenium 获取接口数据。

selenium没有直接提供查询的函数，但是可以通过webdriver提供的API查询，使用的函数是Network.getResponseBody

webdriver提供的API文档：https://chromedevtools.github.io/devtools-protocol/tot/Network/

Network.getResponseBody文档说明：

Network.getResponseBody的参数是requestid，requestid是webdriver每个请求自动生成的惟一ID，拿到requestid就能拿到请求返回的内容。

如何获取requestid？创建webdriver对象时配置信息设置获取performance，即可获取每个请求的日志信息，然后通过对日志信息的检索找到对应的requestid。

获取日志信息的webdriver创建代码（注意，必须传入配置信息才能获取日志信息）：

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
 
caps = {
  'browserName': 'chrome',
  'loggingPrefs': {
    'browser': 'ALL',
    'driver': 'ALL',
    'performance': 'ALL',
  },
  'goog:chromeOptions': {
    'perfLoggingPrefs': {
      'enableNetwork': True,
    },
    'w3c': False, 
  },
}
driver = webdriver.Chrome(desired_capabilities=caps)
 
driver.get('https://partner.oceanengine.com/union/media/login/')
# 必须等待一定的时间，不然会报错提示获取不到日志信息，因为絮叨等所有请求结束才能获取日志信息
time.sleep(3)
 
request_log = driver.get_log('performance')

打印request_log是一个数组，然后遍历request_log检索需要获取的url对应的requestid，比如需要获取https://s3.pstatp.com/bytecom/resource/union_web2/media/manifest.json对应的requestid，并且获取接口内容：

for i in range(len(request_log)):
  message = json.loads(request_log[i]['message'])
  message = message['message']['params']
  # .get() 方式获取是了避免字段不存在时报错
  request = message.get('request')
  if(request is None):
    continue
 
  url = request.get('url')
  if(url == "https://s3.pstatp.com/bytecom/resource/union_web2/media/manifest.json"):
    # 得到requestId
    print(message['requestId'])
    # 通过requestId获取接口内容
    content = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': message['requestId']})
    print(content)
    break

完整代码：

import json
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
 
caps = {
  'browserName': 'chrome',
  'loggingPrefs': {
    'browser': 'ALL',
    'driver': 'ALL',
    'performance': 'ALL',
  },
  'goog:chromeOptions': {
    'perfLoggingPrefs': {
      'enableNetwork': True,
    },
    'w3c': False, 
  },
}
driver = webdriver.Chrome(desired_capabilities=caps)
 
driver.get('https://partner.oceanengine.com/union/media/login/')
# 必须等待一定的时间，不然会报错提示获取不到日志信息，因为絮叨等所有请求结束才能获取日志信息
time.sleep(3)
 
request_log = driver.get_log('performance')
print(request_log)
 
for i in range(len(request_log)):
  message = json.loads(request_log[i]['message'])
  message = message['message']['params']
  # .get() 方式获取是了避免字段不存在时报错
  request = message.get('request')
  if(request is None):
    continue
 
  url = request.get('url')
  if(url == "https://s3.pstatp.com/bytecom/resource/union_web2/media/manifest.json"):
    # 得到requestId
    print(message['requestId'])
    # 通过requestId获取接口内容
    content = driver.execute_cdp_cmd('Network.getResponseBody', {'requestId': message['requestId']})
    print(content)
    break

到此这篇关于python selenium 获取接口数据的实现的文章就介绍到这了,更多相关python selenium 获取接口数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • jupyter notebook运行代码没反应且in[ ]没有*

    jupyter notebook运行代码没反应且in[ ]没有*

    本文主要介绍了jupyter notebook运行代码没反应且in[ ]没有*，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-03-03
  • 详解python-docx处理Word必备工具

    详解python-docx处理Word必备工具

    这篇文章主要介绍了python-docx处理Word必备工具,我主要讲讲自己用到的几个内容是怎么设置的，对python-docx处理Word的相关知识感兴趣的朋友一起看看吧
    2021-10-10
  • python中正则表达式的使用详解

    python中正则表达式的使用详解

    这篇文章主要介绍了python中正则表达式的使用详解,另附上一些常用的Python正则例子，有需要的朋友可以参考下
    2014-10-10
  • Django细致讲解多对多使用through自定义中间表方法

    Django细致讲解多对多使用through自定义中间表方法

    我们在开发网站的时候，无可避免的需要设计实现网站的用户系统,我们需要实现包括用户注册、用户登录、用户认证、注销等功能，Django作为完美主义终极框架，它默认使用auth_user表来存储用户数据，下面我们来看看Django多对多使用through自定义中间表
    2022-06-06
  • Python通过调用mysql存储过程实现更新数据功能示例

    Python通过调用mysql存储过程实现更新数据功能示例

    这篇文章主要介绍了Python通过调用mysql存储过程实现更新数据功能,结合实例形式分析了Python调用mysql存储过程实现更新数据的具体步骤与相关操作技巧,需要的朋友可以参考下
    2018-04-04
  • python基于tkinter实现gif录屏功能

    python基于tkinter实现gif录屏功能

    一直在思索实现一个透明的窗体，然后可以基于这个窗体可以开发出各种好玩的应用，这一期，我们将实现有趣的GIF录屏功能
    2021-05-05
  • 使用Python实现MP3格式转化

    使用Python实现MP3格式转化

    这篇文章主要为大家详细介绍了如何使用Python实现MP3格式转化为wav,flac和ogg等,文中的示例代码讲解详细,有需要的小伙伴可以参考一下
    2025-01-01
  • Python Websocket服务端通信的使用示例

    Python Websocket服务端通信的使用示例

    这篇文章主要介绍了Python Websocket服务端通信的使用示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-02-02
  • 教你如何将 Sublime 3 打造成 Python/Django IDE开发利器

    教你如何将 Sublime 3 打造成 Python/Django IDE开发利器

    Sublime Text 是一款非常强大的文本编辑器, 下面我们介绍如何将 Sublime Text 3 打造成一款 Python/Django 开发利器:
    2014-07-07
  • django formset实现数据表的批量操作的示例代码

    django formset实现数据表的批量操作的示例代码

    这篇文章主要介绍了django-formset实现数据表的批量操作的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-12-12

最新评论