关于pytorch多GPU训练实例与性能对比分析
更新时间：2019年08月19日 15:07:30 作者：奏英宇
今天小编就为大家分享一篇关于pytorch多GPU训练实例与性能对比分析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
以下实验是我在百度公司实习的时候做的，记录下来留个小经验。
多GPU训练
cifar10_97.23 使用 run.sh 文件开始训练
cifar10_97.50 使用 run.4GPU.sh 开始训练
在集群中改变GPU调用个数修改 run.sh 文件
nohup srun --job-name=cf23 $pt --gres=gpu:2 -n1 bash cluster_run.sh $cmd 2>&1 1>>log.cf50_2GPU &
修改 –gres=gpu:2 即可
Python 文件代码修改
parser.add_argument('--batch_size', type=int, default=96*2, help='batch size')
修改对应 batch size 大小，保证每块GPU获得等量的训练数据，因为batch_size的改变会影响训练精度
最容易实现的单GPU训练改为多GPU训练代码
单GPU：logits, logits_aux = model(input)
多GPU：
if torch.cuda.device_count()>1:#判断是否能够有大于一的GPU资源可以调用 logits, logits_aux =nn.parallel.data_parallel(model,input) else: logits, logits_aux = model(input)
缺点：不是性能最好的实现方式
优点：代码嵌入适应性强，不容易报错
性能分析
该图为1到8GPU训练cifar10——97.23网络的实验对比
可以看到单核训练600轮需要53小时、双核训练600轮需要26小时、四核16、六核14、八核13。
在可运行7小时的GPU上的对比实验：单核跑完83轮、双核跑完163轮、四核跑完266轮
结论：性价比较高的是使用4～6核GPU进行训练，但是多GPU训练对于单GPU训练有所差异，训练的准确率提升会有所波动，目前发现的是负面的影响。
以上这篇关于pytorch多GPU训练实例与性能对比分析就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇python opencv读mp4视频的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要介绍了Python使用qrcode二维码库生成二维码方法详解,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了Python基于smtplib模块发送邮件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
这篇文章主要给大家分享的是python 循环结构练习题，求两个数最大公约数、整数反转：如12345，输出54321等多个练习题,需要的朋友可以参考一下2021-11-11
今天小编就为大家分享一篇关于django 1.10 CSRF验证失败的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要为大家介绍了Pytorch+PyG实现GIN过程示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-04-04
这篇文章主要介绍了Python快速排序算法,简单说明了快速排序算法的原理、实现步骤,并结合具体实例分析了Python实现快速排序的相关操作技巧,需要的朋友可以参考下2017-11-11
Python常见库matplotlib学习笔记之画图中各个模块的含义及修改方法
matplotlib是python最著名的绘图库,它提供了一整套和matlab相似的命令API,十分适合交互式地进行制图,下面这篇文章主要给大家介绍了关于Python常见库matplotlib学习笔记之画图中各个模块的含义及修改方法的相关资料,需要的朋友可以参考下2023-05-05
这篇文章主要介绍了Python常用随机数与随机字符串方法实例,本文讲解了随机整数、随机选取0到100间的偶数、随机浮点数、随机字符串等常用随机方法,需要的朋友可以参考下2015-04-04
今天小编就为大家分享一篇Python 删除连续出现的指定字符的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
最新评论