Python3使用requests模块实现显示下载进度的方法详解

 更新时间:2019年02月15日 09:17:19   作者:微寒Super  
这篇文章主要介绍了Python3使用requests模块实现显示下载进度的方法,结合实例形式分析了Python3中requests模块的配置、使用及显示进度条类的相关定义方法,需要的朋友可以参考下

本文实例讲述了Python3使用requests模块实现显示下载进度的方法。分享给大家供大家参考,具体如下:

一、配置request

1. 相关资料

请求关键参数:stream=True。默认情况下,当你进行网络请求后,响应体会立即被下载。你可以通过 stream 参数覆盖这个行为,推迟下载响应体直到访问 Response.content 属性。

tarball_url = 'https://github.com/kennethreitz/requests/tarball/master'
r = requests.get(tarball_url, stream=True)

此时仅有响应头被下载下来了,连接保持打开状态,因此允许我们根据条件获取内容:

if int(r.headers['content-length']) < TOO_LONG:
 content = r.content
 ...

进一步使用 Response.iter_contentResponse.iter_lines 方法来控制工作流,或者以 Response.raw 从底层urllib3的 urllib3.HTTPResponse

from contextlib import closing
with closing(requests.get('http://httpbin.org/get', stream=True)) as r:
  # Do things with the response here.

保持活动状态(持久连接)

归功于urllib3,同一会话内的持久连接是完全自动处理的,同一会话内发出的任何请求都会自动复用恰当的连接!

注意:只有当响应体的所有数据被读取完毕时,连接才会被释放到连接池;所以确保将 stream 设置为 False 或读取 Response 对象的 content 属性。

2. 下载文件并显示进度条

with closing(requests.get(self.url(), stream=True)) as response:
  chunk_size = 1024 # 单次请求最大值
  content_size = int(response.headers['content-length']) # 内容体总大小
  progress = ProgressBar(self.file_name(), total=content_size,
                   unit="KB", chunk_size=chunk_size, run_status="正在下载", fin_status="下载完成")
  with open(file_name, "wb") as file:
    for data in response.iter_content(chunk_size=chunk_size):
      file.write(data)
      progress.refresh(count=len(data))

二、进度条类的实现

在Python3中,print()方法的默认结束符(end='\n'),当调用完之后,光标自动切换到下一行,此时就不能更新原有输出。

将结束符改为“\r”,输出完成之后,光标会回到行首,并不换行。此时再次调用print()方法,就会更新这一行输出了。

结束符也可以使用“\d”,为退格符,光标回退一格,可以使用多个,按需求回退。

在结束这一行输出时,将结束符改回“\n”或者不指定使用默认

下面是一个格式化的进度条显示模块。代码如下:

class ProgressBar(object):
  def __init__(self, title,
         count=0.0,
         run_status=None,
         fin_status=None,
         total=100.0,
         unit='', sep='/',
         chunk_size=1.0):
    super(ProgressBar, self).__init__()
    self.info = "【%s】%s %.2f %s %s %.2f %s"
    self.title = title
    self.total = total
    self.count = count
    self.chunk_size = chunk_size
    self.status = run_status or ""
    self.fin_status = fin_status or " " * len(self.status)
    self.unit = unit
    self.seq = sep
  def __get_info(self):
    # 【名称】状态 进度 单位 分割线 总数 单位
    _info = self.info % (self.title, self.status,
               self.count/self.chunk_size, self.unit, self.seq, self.total/self.chunk_size, self.unit)
    return _info
  def refresh(self, count=1, status=None):
    self.count += count
    # if status is not None:
    self.status = status or self.status
    end_str = "\r"
    if self.count >= self.total:
      end_str = '\n'
      self.status = status or self.fin_status
    print(self.__get_info(), end=end_str)

三、参考资料

http://cn.python-requests.org/en/latest/user/advanced.html

更多关于Python相关内容感兴趣的读者可查看本站专题:《Python函数使用技巧总结》、《Python面向对象程序设计入门与进阶教程》、《Python数据结构与算法教程》、《Python字符串操作技巧汇总》、《Python编码操作技巧总结》及《Python入门与进阶经典教程

希望本文所述对大家Python程序设计有所帮助。

相关文章

  • Python实现批量添加视频文本水印

    Python实现批量添加视频文本水印

    这篇文章主要为大家详细介绍了如何基于PyQt5开发一个视频水印批量添加工具,旨在为多个视频文件添加文本水印,感兴趣的小伙伴可以参考一下
    2025-02-02
  • python进行数据预处理的4个重要步骤

    python进行数据预处理的4个重要步骤

    在数据科学项目中,数据预处理是最重要的事情之一,本文详细给大家介绍python进行数据预处理的4个重要步骤:拆分训练集和测试集,处理缺失值,处理分类特征和进行标准化处理,需要的朋友可以参考下
    2023-06-06
  • python实现批量解析邮件并下载附件

    python实现批量解析邮件并下载附件

    这篇文章主要为大家详细介绍了python实现批量解析邮件并下载附件,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-06-06
  • python数据可视化pygal模拟掷骰子实现示例

    python数据可视化pygal模拟掷骰子实现示例

    这篇文章主要为大家介绍了python数据可视化pygal模拟掷骰子实现示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-06-06
  • python在html中插入简单的代码并加上时间戳的方法

    python在html中插入简单的代码并加上时间戳的方法

    今天小编就为大家分享一篇python在html中插入简单的代码并加上时间戳的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • python数据分析之DataFrame内存优化

    python数据分析之DataFrame内存优化

    pandas处理几百兆的dataframe是没有问题的,但是我们在处理几个G甚至更大的数据时,就会特别占用内存,对内存小的用户特别不好,所以对数据进行压缩是很有必要的,本文就介绍了python DataFrame内存优化,感兴趣的可以了解一下
    2021-07-07
  • python发送伪造的arp请求

    python发送伪造的arp请求

    本文介绍了python发送伪造的arp请求的示例代码,大家参考使用吧
    2014-01-01
  • Python获取文本文件行数的三种常用方法

    Python获取文本文件行数的三种常用方法

    在Python中获取文件中的行数可以帮助我们更好地处理和分析数据,这篇文章主要给大家介绍了关于Python获取文本文件行数的三种常用方法,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2023-11-11
  • Python中的五个神仙级函数一起来看看

    Python中的五个神仙级函数一起来看看

    这篇文章主要为大家介绍了Python中的五个神仙级函数,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,希望能够给你带来帮助
    2022-01-01
  • Pycharm创建python文件自动添加日期作者等信息(步骤详解)

    Pycharm创建python文件自动添加日期作者等信息(步骤详解)

    这篇文章主要介绍了Pycharm创建python文件自动添加日期作者等信息(步骤详解),本文分步骤给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-02-02

最新评论