pytorch 指定gpu训练与多gpu并行训练示例
更新时间：2019年12月31日 08:40:36 作者：益达888
今天小编就为大家分享一篇pytorch 指定gpu训练与多gpu并行训练示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
一. 指定一个gpu训练的两种方法：
1.代码中指定
import torch torch.cuda.set_device(id)
2.终端中指定
CUDA_VISIBLE_DEVICES=1 python 你的程序
其中id就是你的gpu编号
二. 多gpu并行训练：
torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
该函数实现了在module级别上的数据并行使用，注意batch size要大于GPU的数量。
参数 ：
module：需要多GPU训练的网络模型
device_ids： GPU的编号（默认全部GPU，或[0,1] ,[0,1,2]）
output_device：（默认是device_ids[0])
dim：tensors被分散的维度，默认是0
在保存模型时要注意要加上"module",例如：
network.module.state_dict()
以上这篇pytorch 指定gpu训练与多gpu并行训练示例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
在本篇文章小编给大家整理的是关于Django的CVB实例详解内容，有需要的朋友们可以跟着学习下。2020-02-02
这篇文章主要介绍了Python使用多进程运行含有任意个参数的函数，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章主要介绍了python实现的汉诺塔算法,结合实例形式分析了汉诺塔算法的原理、实现方法及相关操作注意事项,需要的朋友可以参考下2019-10-10
最近在做项目的时候，突然想到的这个问题，觉得比较有趣，就实际测试了一下，考虑到以后可能会有用，就总结下来写了这篇文章，刚兴趣的朋友们可以参考学习下，下面来跟着小编一起看看吧。2016-12-12
这篇文章主要介绍了python之随机数函数的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
这篇文章主要介绍了一篇文章快速了解Python的GIL，具有一定借鉴价值,需要的朋友可以参考下2018-01-01
这篇文章主要给大家介绍了Python中关于浮点数的冷知识，文中通过示例代码介绍的非常详细，对大家学习或者使用Python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2019-09-09
这篇文章主要介绍了Python编写屏幕截图程序方法,本文讲解使用开源程序pywin32实现屏幕截图和读取剪切板功能,需要的朋友可以参考下2015-02-02
flask是python web开发的常用框架之一。本文将讲述flask如何实现修改密码和免密登录功能2021-05-05
今天小编就为大家分享一篇Python利用FFT进行简单滤波的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
最新评论