pytorch 限制GPU使用效率详解(计算效率)
问题
用过 tensorflow 的人都知道， tf 可以限制程序在 GPU 中的使用效率，但 pytorch 中没有这个操作。
思路
于是我想到了一个代替方法，玩过单片机点灯的同学都知道，灯的亮度是靠占空比实现的，这实际上也是计算机的运行原理。 那我们是不是也可以通过增加 GPU 不工作的时间，进而降低 GPU 的使用效率 ？
主要代码
import time ... rest_time = 0.15 ... for _ in range( XXX ): ... outputs = all_GPU_operations( data_set ) # 假设所有的GPU运算都在这里 time.sleep( rest_time ) # 让显卡休息一会再进行下个循环的使用 ... ...
这样子 GPU 的使用效率就可以减小了。
rest_time 的越大 GPU 使用率越低，rest_time 的越小 GPU 使用率越高。
缺点是很难直接控制 GPU 的具体使用率，rest_time 得自己调试后确定。
补充知识：深度学习PyTorch，TensorFlow中GPU利用率较低,使用率周期性变化的问题
在用tensorflow训练神经网络时,发现训练迭代的速度时而快时而慢,监督的GPU使用率也是周期性变化,通过了解,发现原因是:
GPU在等待CPU读取,预处理,并传输数据过来,因此要提高GPU的使用率,降低GPU的等待时间,需要加快CPU的处理速度.
在PYTORCH中的解决方案是用torch.utils.data.DataLoader,用num_workers设置线程数:
torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=8, pin_memory=True)
在tensorflow中的解决方案是用tf.data.Dataset.map(num_parallel_calls=8)中的num_parallel_calls设置读取数据的线程数:
用 tf.data读取数据, tf.data.Dataset中有一个map函数,它有个num_parallel_calls参数,可以控制CPU的线程,加快数据的读取速度,一般将线程设置为8效果最好.
以上这篇pytorch 限制GPU使用效率详解(计算效率)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家介绍了OpenAI Function Calling特性作用详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-07-07
Python class类@staticmethod及@classmethod区别浅析
这篇文章主要为大家介绍了Python class类@staticmethod及@classmethod区别浅析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-07-07
这篇文章主要为大家详细介绍了Python实现图形用户界面计算器，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-07-07
学习Python时新手可能会遇到缩进错误、忘记引入模块、使用未定义的变量、变量作用域理解不当、字符串格式化错误等问题,本文详细介绍了这些常见陷阱及其解决方案,文中通过代码介绍的非常详细,需要的朋友可以参考下2024-10-10
这篇文章主要介绍了Python存取XML的常见方法,结合具体实例形式较为详细的分析了Python存取xml的常用方法、优缺点比较与相关注意事项,需要的朋友可以参考下2017-03-03
python 利用matplotlib在3D空间中绘制平面的案例
这篇文章主要介绍了python 利用matplotlib在3D空间中绘制平面的案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-02-02
这篇文章主要介绍了如何使用selenium和requests组合实现登录页面,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了Python3 合并二叉树的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-09-09
这篇文章主要介绍了python中向二维数组中添加整行或者增列元素问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-01-01
这篇文章主要介绍了python实现合并两个数组的方法,实例分析了两种常用的合并数组的技巧,非常简单实用,需要的朋友可以参考下2015-05-05
最新评论