脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python爬虫 bilibili视频弹幕提取

Python爬虫 bilibili视频弹幕提取过程详解

 更新时间：2019年07月31日 09:32:32   作者：Tanglaoer  
这篇文章主要介绍了Python爬虫 bilibili视频弹幕提取过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

两个重要点

1.获取弹幕的url是以 .xml 结尾

2.弹幕url的所需参数在视频url响应的 javascript 中

先看代码

import requests
from lxml import etree
import re
# 使用手机UA
headers = {
  "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}
# 视频url
video_url = "https://m.bilibili.com/video/av37834086.html"
html = requests.get(url=video_url, headers=headers).content.decode('utf-8')
# 获取弹幕url的参数
cid = re.findall(r"comment: '//comment.bilibili.com/' \+ (.*?) \+ '.xml',", html)
url = "https://comment.bilibili.com/" + cid[0] + ".xml"
print(url)
response = requests.get(url, headers=headers)
html = response.content
xml = etree.HTML(html)
# 提取数据
str_list = xml.xpath("//d/text()")
# 写入文件
with open('bibi_xuxubaobao.txt', 'w', encoding='utf-8') as f:
  for line in str_list:
    f.write(line)
    f.write('\n')

先找到弹幕的url，以.xml结尾，所以先找到这串数字所在的位置，并获取这串数字发起第二次请求

而这串数字就在 第一次请求的响应的JavaScript中，可以通过 re 正则表达式进行提取

接下来的工作就是获取弹幕url返回的所有弹幕数据，然后对响应进行数据处理。

代码示例中使用的是 lxml 进行获取。接着就是保存到个人本地文件中了

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Python实现清除文件夹中重复视频

    Python实现清除文件夹中重复视频

    本文将利用Python中的os、hashlib、shutil模块实现对文件夹中的重复视频进行清除，实现文件夹中无重复文件情况发生，需要的可以参考一下
    2022-05-05
  • Python3匿名函数lambda介绍与使用示例

    Python3匿名函数lambda介绍与使用示例

    这篇文章主要给大家介绍了关于Python3匿名函数lambda与使用的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Python3具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
    2019-05-05
  • 对Matlab中共轭、转置和共轭装置的区别说明

    对Matlab中共轭、转置和共轭装置的区别说明

    这篇文章主要介绍了对Matlab中共轭、转置和共轭装置的区别说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • Pytorch中关于model.eval()的作用及分析

    Pytorch中关于model.eval()的作用及分析

    这篇文章主要介绍了Pytorch中关于model.eval()的作用及分析，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2023-02-02
  • Python 中 Pandas 文件操作和读取 CSV 参数详解

    Python 中 Pandas 文件操作和读取 CSV 参数详解

    CSV 又称逗号分隔值文件，是一种简单的文件格式，以特定的结构来排列表格数据，这篇文章主要介绍了Python 之 Pandas 文件操作和读取 CSV 参数详解,需要的朋友可以参考下
    2023-03-03
  • python同义词替换的实现（jieba分词）

    python同义词替换的实现（jieba分词）

    这篇文章主要介绍了python同义词替换的实现（jieba分词），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-01-01
  • 详解python之heapq模块及排序操作

    详解python之heapq模块及排序操作

    说到排序，很多人可能第一想到的就是sorted,但是你可能不知道python中其实还有还就中方法哟，并且好多种场景下效率都会比sorted高。那么接下来我就依次来介绍我所知道的排序操作
    2019-04-04
  • 基于jupyter代码无法在pycharm中运行的解决方法

    基于jupyter代码无法在pycharm中运行的解决方法

    这篇文章主要介绍了基于jupyter代码无法在pycharm中运行的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-04-04
  • python入门学习之自带help功能初步使用示例

    python入门学习之自带help功能初步使用示例

    这篇文章主要为大家介绍了python入门学习自带help功能初步使用示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-03-03
  • Python神器之使用watchdog监控文件变化

    Python神器之使用watchdog监控文件变化

    这篇文章主要为大家详细介绍了Python中的神器watchdog以及如何使用watchdog监控文件变化,文中的示例代码讲解详细,感兴趣的小伙伴可以了解下
    2023-12-12

最新评论