如何解决PyTorch程序占用较高CPU问题
更新时间：2023年09月08日 09:26:21 作者：Arxan_hjw
这篇文章主要介绍了如何解决PyTorch程序占用较高CPU问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
PyTorch程序占用较高CPU问题
在使用服务器运行PyTorch程序时，使用TOP命令查看CPU状态，发现CPU占用率竟然达到2000%，已经影响到其他人正常使用服务器。
解决办法
在main程序中加以下代码：
torch.set_num_threads(1)
设置最多使用1个CPU核。
问题解决~
pytorch训练占用cpu过高，num_works和set_num_threads设置均无效，发现是数据扩增问题
这是我使用pytorch训练模型的时候，出现cpu占用过多的情况，无关pytorch版本
dataloader 的 num_work=1 的时候单线程cpu占用量2800，也就是一半的cpu，我服务器一共28*2个逻辑cpu
dataloader 的 num_work=8 的时候8个线程cpu占用500-700，合计2800
使用网上教程的如下指令，没有任何效果
cpu_num = 1
os.environ["OMP_NUM_THREADS"] = str(cpu_num)
os.environ["OPENBLAS_NUM_THREADS"] = str(cpu_num)
os.environ["MKL_NUM_THREADS"] = str(cpu_num)
os.environ["VECLIB_MAXIMUM_THREADS"] = str(cpu_num)
os.environ["NUMEXPR_NUM_THREADS"] = str(cpu_num)
torch.set_num_threads(cpu_num)最后发现是数据扩增惹的祸，我是用的数据扩增库是albumentations，其中所使用的基于opencv的各种数据变换占用了太多的cpu，因此只需要限制opencv的线程数目则可：
import cv2 import albumentations cv2.setNumThreads(1) # 0也可以
再设置 dataloader 的 num_work=2 的情况
虽然不清楚这里为什么有3个，但目的达成了，而且训练速度和cpu占用2800的时候一样。
在albumentations的github网址也有相关联的一小段说明，但不是本篇文章遇到的问题， cv2.ocl.setUseOpenCL(False) 对于本篇文章问题可以不加。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python实现王者农药自动刷金币的完整步骤,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
这篇文章主要介绍了一个超级简单的python web程序,需要的朋友可以参考下2014-09-09
Anaconda是一个开源的python发行版本,是现在比较流行的python数据科学平台,可以对python的科学包做到有效管理,这篇文章主要给大家介绍了关于vscode和Anaconda安装以及相关环境配置指南的相关资料,需要的朋友可以参考下2023-11-11
这篇文章主要介绍了Python求1到n的阶乘之和的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-06-06
实际开发过程中使用到邮箱的概率很高，那么如何借助python使用qq邮箱发送邮件呢？正好最近工作遇到这个需求，所以想着把方法分享出来方便大家，所以这篇文章主要介绍了Python使用QQ邮箱发送Email的实现方法,需要的朋友可以参考。2017-02-02
下面小编就为大家带来一篇深入理解Python变量与常量。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-06-06
这篇文章主要介绍了Python实现抓取网页并且解析的功能实例,主要以解析百度问答为例说明其原理与方法,需要的朋友可以参考下2014-09-09
这篇文章主要为大家分享了一个Python实现多线程并发请求测试的脚本，文中的示例代码简洁易懂，具有一定的借鉴价值，需要的小伙伴可以了解一下2023-06-06
这篇文章主要介绍了python中实现k-means聚类算法详解，具有一定参考价值，需要的朋友可以了解下。2017-11-11
在本篇文章中小编给各位分享的是关于在python里面运用多继承方法以及知识点总结，有兴趣的朋友们可以学习下。2019-07-07
最新评论