脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python采集视频数据

Python爬虫采集微博视频数据

 更新时间：2021年12月03日 16:00:42   作者：松鼠爱吃饼干  
这篇文章主要介绍了利用Python爬虫采集微博的视频数据，文中有非常详细的代码示例,对正在学python的小伙伴们有很好地帮助,需要的朋友可以参考下

前言

随时随地发现新鲜事！微博带你欣赏世界上每一个精彩瞬间，了解每一个幕后故事。分享你想表达的，让全世界都能听到你的心声！今天我们通过python去采集微博当中好看的视频！

没错，今天的目标是微博数据采集，爬的是那些好看的小姐姐视频

知识点

requests

pprint

开发环境

版 本：python 3.8

-编辑器：pycharm 2021.2

爬虫原理

作用：批量获取互联网数据(文本, 图片, 音频, 视频)

本质：一次次的请求与响应

 案例实现

1. 导入所需模块

import requests
import pprint

2. 找到目标网址

打开开发者工具，选中Fetch/XHR，选中数据所在的标签，找到目标所在url

https://www.weibo.com/tv/api/component?page=/tv/channel/4379160563414111/editor

3. 发送网络请求

headers = {
    'cookie': '',
    'referer': 'https://weibo.com/tv/channel/4379160563414111/editor',
    'user-agent': '',
}
data = {
    'data': '{"Component_Channel_Editor":{"cid":"4379160563414111","count":9}}'
}
url = 'https://www.weibo.com/tv/api/component?page=/tv/channel/4379160563414111/editor'
json_data = requests.post(url=url, headers=headers, data=data).json()

4. 获取数据

json_data_2 = requests.post(url=url_1, headers=headers, data=data_1).json()

5. 筛选数据

dict_urls = json_data_2['data']['Component_Play_Playinfo']['urls']
video_url = "https:" + dict_urls[list(dict_urls.keys())[0]]
print(title + "\t" + video_url)

6. 保存数据

video_data = requests.get(video_url).content
with open(f'video\\{title}.mp4', mode='wb') as f:
    f.write(video_data)
print(title, "爬取成功................")

完整代码

import requests
import pprint

headers = {
    'cookie': '添加自己的',
    'referer': 'https://weibo.com/tv/channel/4379160563414111/editor',
    'user-agent': '',
}
data = {
    'data': '{"Component_Channel_Editor":{"cid":"4379160563414111","count":9}}'
}
url = 'https://www.weibo.com/tv/api/component?page=/tv/channel/4379160563414111/editor'
json_data = requests.post(url=url, headers=headers, data=data).json()
print(json_data)

ccs_list = json_data['data']['Component_Channel_Editor']['list']
next_cursor = json_data['data']['Component_Channel_Editor']['next_cursor']
for ccs in ccs_list:
    oid = ccs['oid']
    title = ccs['title']
    data_1 = {
        'data': '{"Component_Play_Playinfo":{"oid":"' + oid + '"}}'
    }
    url_1 = 'https://weibo.com/tv/api/component?page=/tv/show/' + oid
    json_data_2 = requests.post(url=url_1, headers=headers, data=data_1).json()
    dict_urls = json_data_2['data']['Component_Play_Playinfo']['urls']
    video_url = "https:" + dict_urls[list(dict_urls.keys())[0]]
    print(title + "\t" + video_url)

    video_data = requests.get(video_url).content
    with open(f'video\\{title}.mp4', mode='wb') as f:
        f.write(video_data)
    print(title, "爬取成功................")

 以上就是Python爬虫采集微博视频数据的详细内容，更多关于Python采集视频数据的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

相关文章

  • 使用python解决化学问题的实用指南

    使用python解决化学问题的实用指南

    在当今科学技术迅速发展的时代,计算机科学与各个学科的结合愈发紧密,尤其是在化学领域,本博文旨在探讨如何利用Python解决一些常见的化学问题,包括构建分子式、判断化合价、解析分子式、平衡化学反应方程式以及计算化合物的摩尔质量等,需要的朋友可以参考下
    2024-10-10
  • Python 文件处理之open()函数

    Python 文件处理之open()函数

    这篇文章主要介绍了Python 文件处理之open()函数，在 Python 中使用文件的关键函数是 open() 函数，关于其打开文件的不同方式需要的小伙伴可以参考下面详细介绍
    2022-03-03
  • PyTorch中的torch.cat简单介绍

    PyTorch中的torch.cat简单介绍

    这篇文章主要介绍了PyTorch中的torch.cat，包torch包含了多维疑是的数据结构及基于其上的多种数学操作，包含了多维张量的数据结构以及基于其上的多种数学运算，更多相关资料 需要的小伙伴可以参考一下
    2022-03-03
  • python下载文件的两种方式

    python下载文件的两种方式

    这篇文章主要介绍了python下载文件的两种方式：接口方式和Nginx这两种方式,并通过代码示例讲解的非常详细,对大家学习python下载文件有一定的帮助,需要的朋友可以参考下
    2024-08-08
  • python写完程序怎么运行的两种方式

    python写完程序怎么运行的两种方式

    这篇文章主要介绍了Python的两种运行方式,分别是命令行和交互式命令行,并详细讲解了如何在命令行和交互式命令行中运行Python代码,需要的朋友可以参考下
    2025-03-03
  • Numpy中np.vstack() 和 np.hstack() 的实现

    Numpy中np.vstack() 和 np.hstack() 的实现

    本文主要介绍了Numpy中np.vstack()和np.hstack()的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-04-04
  • Python实现连通域标记算法

    Python实现连通域标记算法

    如果把图像分为前景和背景两部分,那么连通域就是连通在一起的前景,这种关系对于二值图像来说比较明显,下面我们就来了解一下连通域标记算法原理及其Python实现吧
    2023-12-12
  • python实现黑客字幕雨效果

    python实现黑客字幕雨效果

    这篇文章主要为大家详细介绍了python实现黑客字幕雨效果，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-06-06
  • python正则表达式完成车牌号检验的代码实例

    python正则表达式完成车牌号检验的代码实例

    这篇文章主要给大家介绍了关于python正则表达式完成车牌号检验的相关资料,在Python中正则表达式是一种用于匹配和操作字符串的强大工具,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-02-02
  • python pyg2plot的原理知识点总结

    python pyg2plot的原理知识点总结

    在本篇文章里小编给大家整理的是一篇关于python pyg2plot的原理知识点总结内容，有兴趣的朋友们可以参考下。
    2021-02-02

最新评论