脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → pytorch内存溢出问题

pytorch使用过程中遇到的错误处理之内存溢出问题

 更新时间：2023年09月08日 09:04:59   作者：great-wind  
这篇文章主要介绍了pytorch使用过程中遇到的错误处理之内存溢出问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

内存溢出

在使用 pytorch 训练的模型进行推理操作时，

出现以下错误：

RuntimeError: CUDA out of memory. Tried to allocate 416.00 MiB (GPU 0; 2.00 GiB total capacity; 1.32 GiB already allocated; 0 bytes free; 1.34 GiB reserved in total by PyTorch)

从上述报错信息中可以看出， GPU0 共有 2GiB 容量，已经分配出去 1.32 GiB ， 0 bytes 可用，PyTorch占用 1.34 GiB 。

使用下述命令查看GPU的使用情况：

> nvidia-smi
Wed Jul 13 15:20:18 2022       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 512.95       Driver Version: 512.95       CUDA Version: 11.6     |
|-------------------------------+----------------------+----------------------+
| GPU  Name            TCC/WDDM | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA GeForce ... WDDM  | 00000000:01:00.0 Off |                  N/A |
| N/A   39C    P0    N/A /  N/A |      0MiB /  2048MiB |      2%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

发现并没有进程占用GPU资源。

然后使用 torch 包内的命令查看内存占用情况，

结果如下：

> print(torch.cuda.memory.memory_summary())
|===========================================================================|
|                  PyTorch CUDA memory summary, device ID 0                 |
|---------------------------------------------------------------------------|
|            CUDA OOMs: 0            |        cudaMalloc retries: 0         |
|===========================================================================|
|        Metric         | Cur Usage  | Peak Usage | Tot Alloc  | Tot Freed  |
|---------------------------------------------------------------------------|
| Allocated memory      |       0 B  |       0 B  |       0 B  |       0 B  |
|       from large pool |       0 B  |       0 B  |       0 B  |       0 B  |
|       from small pool |       0 B  |       0 B  |       0 B  |       0 B  |
|---------------------------------------------------------------------------|
| Active memory         |       0 B  |       0 B  |       0 B  |       0 B  |
|       from large pool |       0 B  |       0 B  |       0 B  |       0 B  |
|       from small pool |       0 B  |       0 B  |       0 B  |       0 B  |
|---------------------------------------------------------------------------|
| GPU reserved memory   |       0 B  |       0 B  |       0 B  |       0 B  |
|       from large pool |       0 B  |       0 B  |       0 B  |       0 B  |
|       from small pool |       0 B  |       0 B  |       0 B  |       0 B  |
|---------------------------------------------------------------------------|
| Non-releasable memory |       0 B  |       0 B  |       0 B  |       0 B  |
|       from large pool |       0 B  |       0 B  |       0 B  |       0 B  |
|       from small pool |       0 B  |       0 B  |       0 B  |       0 B  |
|---------------------------------------------------------------------------|
| Allocations           |       0    |       0    |       0    |       0    |
|       from large pool |       0    |       0    |       0    |       0    |
|       from small pool |       0    |       0    |       0    |       0    |
|---------------------------------------------------------------------------|
| Active allocs         |       0    |       0    |       0    |       0    |
|       from large pool |       0    |       0    |       0    |       0    |
|       from small pool |       0    |       0    |       0    |       0    |
|---------------------------------------------------------------------------|
| GPU reserved segments |       0    |       0    |       0    |       0    |
|       from large pool |       0    |       0    |       0    |       0    |
|       from small pool |       0    |       0    |       0    |       0    |
|---------------------------------------------------------------------------|
| Non-releasable allocs |       0    |       0    |       0    |       0    |
|       from large pool |       0    |       0    |       0    |       0    |
|       from small pool |       0    |       0    |       0    |       0    |
|===========================================================================|

从结果中看到，没有内存被占用。

再次运行代码依旧报错，难道是代码自身所需的内存过大而导致失败？

但是我们的代码只是推理代码，不应该占用这么高的内存，经过查询，发现在推理模型时，应该在主代码部分添加torch.no_grad()以防止推理过程中对梯度进行追踪。

追踪梯度时会占用大量的内存。

解决办法

如下：

with torch.no_grad():
    outputs = model(samples) #主代码

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • Python之指数与E记法的区别详解

    Python之指数与E记法的区别详解

    今天小编就为大家分享一篇Python之指数与E记法的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11
  • python list转矩阵的实例讲解

    python list转矩阵的实例讲解

    今天小编就为大家分享一篇python list转矩阵的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-08-08
  • Python使用MYSQLDB实现从数据库中导出XML文件的方法

    Python使用MYSQLDB实现从数据库中导出XML文件的方法

    这篇文章主要介绍了Python使用MYSQLDB实现从数据库中导出XML文件的方法,涉及Python使用MYSQLDB操作数据库及XML文件的相关技巧,需要的朋友可以参考下
    2015-05-05
  • Python实现快速查找并替换Excel中的数据

    Python实现快速查找并替换Excel中的数据

    Excel中的查找替换是一个非常实用的功能,能够帮助用户快速完成大量数据的整理和处理工作,避免手动逐一修改数据的麻烦,提高工作效率,所以本文给大家介绍了Python实现快速查找并替换Excel中的数据,需要的朋友可以参考下
    2024-06-06
  • kaggle+mnist实现手写字体识别

    kaggle+mnist实现手写字体识别

    这篇文章主要为大家详细介绍了kaggle+mnist实现手写字体识别，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2018-07-07
  • django drf框架自带的路由及最简化的视图

    django drf框架自带的路由及最简化的视图

    这篇文章主要介绍了django-drf框架自带的路由以及最简化的视图,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
    2019-09-09
  • 浅谈Python数据类型判断及列表脚本操作

    浅谈Python数据类型判断及列表脚本操作

    下面小编就为大家带来一篇浅谈Python数据类型判断及列表脚本操作。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2016-11-11
  • Python中的迭代器和生成器详解

    Python中的迭代器和生成器详解

    这篇文章主要介绍了Python中的迭代器和生成器详解,生成器表达式是用来生成函数调用时序列参数的一种迭代器写法,生成器对象可以遍历或转化为列表或元组等数据结构，但不能切片,需要的朋友可以参考下
    2023-07-07
  • linux centos 7.x 安装 python3.x 替换 python2.x的过程解析

    linux centos 7.x 安装 python3.x 替换 python2.x的过程解析

    这篇文章主要介绍了linux centos 7.x 安装 python3.x 替换 python2.x的过程解析,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2020-12-12
  • Python将py文件编译为exe文件

    Python将py文件编译为exe文件

    大家好，本篇文章主要讲的是Python将py文件编译为exe文件，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下
    2022-02-02

最新评论