如何实现python爬虫爬取视频时实现实时进度条显示

 更新时间:2022年06月21日 14:50:55   作者:knighthood2001  
这篇文章主要介绍了如何实现python爬虫爬取视频时实现实时进度条显示,在爬取并下载网页上的视频的时候,我们需要实时进度条,这可以帮助我们更直观的看到视频的下载进度。文章围绕主题展开更多内容,需要的小伙伴可以参考一下

前言:

在爬取并下载网页上的视频的时候,我们需要实时进度条,这可以帮助我们更直观的看到视频的下载进度

一、全部代码展示

from contextlib import closing
from requests import get
url = 'https://v26-web.douyinvod.com/57cdd29ee3a718825bf7b1b14d63955b/615d475f/video/tos/cn/tos-cn-ve-15/72c47fb481464cfda3d415b9759aade7/?a=6383&br=2192&bt=2192&cd=0%7C0%7C0&ch=26&cr=0&cs=0&cv=1&dr=0&ds=4&er=&ft=jal9wj--bz7ThWG4S1ct&l=021633499366600fdbddc0200fff0030a92169a000000490f5507&lr=all&mime_type=video_mp4&net=0&pl=0&qs=0&rc=ank7OzU6ZnRkNjMzNGkzM0ApNmY4aGU8MzwzNzo3ZjNpZWdiYXBtcjQwLXNgLS1kLTBzczYtNS0tMmE1Xi82Yy9gLTE6Yw%3D%3D&vl=&vr='
with closing(get(url,  stream=True)) as response:
    chunk_size = 1024  # 单次请求最大值
    # response.headers['content-length']得到的数据类型是str而不是int
    content_size = int(response.headers['content-length'])  # 文件总大小
    data_count = 0  # 当前已传输的大小
    with open('文件名.mp4', "wb") as file:
        for data in response.iter_content(chunk_size=chunk_size):
            file.write(data)
            done_block = int((data_count / content_size) * 50)
            # 已经下载的文件大小
            data_count = data_count + len(data)
            # 实时进度条进度
            now_jd = (data_count / content_size) * 100
            # %% 表示%
            print("\r [%s%s] %d%% " % (done_block * '█', ' ' * (50 - 1 - done_block), now_jd), end=" ")

注:上面的url已过期,需要各位自己去找网页上的视频url

二、解释

1.with closing

我们在日常读取文件资源时,经常会用到with open() as f:的句子。

但是使用with语句的时候是需要条件的,任何对象,只要正确实现了上下文管理,就可以使用with语句,实现上下文管理是通过__enter____exit__这两个方法实现的。

with用法(没有实现上下文管理)

class Door():
    def open(self):
        print('Door is opened')
    def close(self):
        print('Door is closed')
with Door() as d:
    d.open()
    d.close()

 结果报错了:

with用法(实现上下文管理)

用__enter____exit__实现了上下文管理

class Door():
    def open(self):
        print('Door is opened')
    def close(self):
        print('Door is closed')
with Door() as d:
    d.open()
    d.close()

 结果没报错:

closing用法(完美解决上述问题)

一个对象没有实现上下文,我们就不能把它用于with语句。这个时候,可以用contextlib中的

closing()来把该对象变为上下文对象

class Door():
    def __enter__(self):
        print('Begin')
        return self
 
    def __exit__(self, exc_type, exc_value, traceback):
        if exc_type:
            print('Error')
        else:
            print('End')
    def open(self):
        print('Door is opened')
    def close(self):
        print('Door is closed')
with Door() as d:
    d.open()
    d.close()

例如:用with语句使用requests中的get(url)

也就是本文中的案例,使用with closing()下载视频(在网页中)

2.文件流stream

想象一下,如果把文件读取比作向池子里抽水,同步会阻塞程序,异步会等待结果,如果池子非常大呢?

因此有了文件流,它就好比你一边抽一边取,不用等池子满了再用,

所以对于一些大型文件(几个G的视频)一般会用到这个参数。(对小型文件也可以使用)

3.response.headers['content-length']

这表示获取文件的总大小,但是它得到的结果的数据类型是str而不是int,因此需要进行数据类型转换。

4.response.iter_content()

该方法一般用于从网上下载文件和网页(需要用到requests.get(url))

其中chunk_size表示单次请求最大值。

5.\r和%

\r表示回车(回到行首)

%是一种占位符

而对于%%,第一个%起到了转义的作用,使结果输出为百分号%

三、结果展示

四、总结

我之前看了许多的进度条,这些进度条都能动,但是满足不了根据文件内容进行加载(里面的参数要么都定死了,要么就与文件大小无关),不能做到真正的交互功能,这次的进度条就很好的展示了,大家可以去试试!!

这次下载视频展示进度条是争对一个url,大家可以将它加到你的爬虫的循环中,这样就能在爬每个视频的时候展示实时进度条了!!

到此这篇关于如何实现python爬虫爬取视频时实现实时进度条显示的文章就介绍到这了,更多相关python爬取显示进度条内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python中计算圆周率的方法汇总(方法合集)

    Python中计算圆周率的方法汇总(方法合集)

    这篇文章主要介绍了Python中计算圆周率的方法汇总(方法合集),包括使用math库中的pi常量,使用级数展开公式计算π,本文给大家列举多种方法帮助大家学习,需要的朋友可以参考下
    2022-06-06
  • Python中的 Set 与 dict

    Python中的 Set 与 dict

    这篇文章主要介绍了Python中的 Set 与 dict,Set 集合类型有无序 , 自动去重等特点,dict 字典类型 键值对存储的数据,可获取,可修改 表面上有序,实际存储时无序,下面更多详细内容,需要的朋友可以参考一下
    2022-03-03
  • 解决Django模板无法使用perms变量问题的方法

    解决Django模板无法使用perms变量问题的方法

    这篇文章主要给大家介绍了关于解决Django模板无法使用perms变量问题的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2017-09-09
  • 浅谈python中的正则表达式(re模块)

    浅谈python中的正则表达式(re模块)

    本篇文章主要介绍了浅谈python中的正则表达式(re模块),通过内嵌集成re模块,程序媛们可以直接调用来实现正则匹配,有兴趣的可以了解一下
    2017-10-10
  • Python单链表简单实现代码

    Python单链表简单实现代码

    这篇文章主要介绍了Python单链表简单实现代码,结合实例形式分析了Python单链表的具体定义与功能实现技巧,需要的朋友可以参考下
    2016-04-04
  • 深入了解Python中描述器的使用

    深入了解Python中描述器的使用

    Python描述器是Python编程语言中的一个重要特性,它提供了一种灵活且强大的机制来控制属性访问行为。在本文中,我们将详细介绍Python描述器的概念、实现方式以及如何使用Python描述器来增强我们的Python程序
    2023-03-03
  • Python实现图片和base64转换详解

    Python实现图片和base64转换详解

    这篇文章主要介绍了Python实现图片和base64转换详解,Base64是一种二进制到文本的编码方式,如果要更具体一点的话,可以认为它是一种将 byte数组编码为字符串的方法,而且编码出的字符串只包含ASCII基础字符,需要的朋友可以参考下
    2024-01-01
  • Python三种遍历文件目录的方法实例代码

    Python三种遍历文件目录的方法实例代码

    这篇文章主要介绍了Python三种遍历文件目录的方法实例代码,具有一定借鉴价值,需要的朋友可以参考下
    2018-01-01
  • Python使用一行代码获取上个月是几月

    Python使用一行代码获取上个月是几月

    本文介绍的关于Python时间日期处理,日期时间处理在实际应用场景中无处不在,所以这也成了编程语言中必不可少的模块,本文主要给大家介绍Python使用一行代码获取上个月是几月的相关知识,感兴趣的朋友一起看看吧
    2018-08-08
  • Python实现监控Nginx配置文件的不同并发送邮件报警功能示例

    Python实现监控Nginx配置文件的不同并发送邮件报警功能示例

    这篇文章主要介绍了Python实现监控Nginx配置文件的不同并发送邮件报警功能,涉及Python基于difflib模块的文件比较及smtplib模块的邮件发送相关操作技巧,需要的朋友可以参考下
    2019-02-02

最新评论