pytorch 指定gpu训练与多gpu并行训练示例
更新时间：2019年12月31日 08:40:36 作者：益达888
今天小编就为大家分享一篇pytorch 指定gpu训练与多gpu并行训练示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
一. 指定一个gpu训练的两种方法：
1.代码中指定
import torch torch.cuda.set_device(id)
2.终端中指定
CUDA_VISIBLE_DEVICES=1 python 你的程序
其中id就是你的gpu编号
二. 多gpu并行训练：
torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
该函数实现了在module级别上的数据并行使用，注意batch size要大于GPU的数量。
参数 ：
module：需要多GPU训练的网络模型
device_ids： GPU的编号（默认全部GPU，或[0,1] ,[0,1,2]）
output_device：（默认是device_ids[0])
dim：tensors被分散的维度，默认是0
在保存模型时要注意要加上"module",例如：
network.module.state_dict()
以上这篇pytorch 指定gpu训练与多gpu并行训练示例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python语法垃圾回收机制原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
今天小编就为大家分享一篇基于Python集合set的文章，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-10-10
这篇文章主要介绍了使用PYTHON把本地文件上传到七牛云服务的方法，开发环境是Python 2.7，大家参考使用吧2014-01-01
Pandas —— resample()重采样和asfreq()频度转换方式
今天小编就为大家分享一篇Pandas —— resample()重采样和asfreq()频度转换方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要为大家详细介绍了常见的一些JS加密，并记录了JS和Python的实现方式，主要有base64编码伪加密、MD5、SHAI等，需要的可以参考一下2022-11-11
本文主要介绍了简单探讨一下python线程锁，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
这篇文章主要介绍了Python3 JSON 数据解析及日期和时间,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-02-02
Python ORM框架SQLAlchemy学习笔记之安装和简单查询实例
这篇文章主要介绍了Python ORM框架SQLAlchemy学习笔记之安装和简单查询实例,简明入门教程,需要的朋友可以参考下2014-06-06
这篇文章主要为大家介绍了python爬虫通过增加多线程获取数据实现过程解析，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-06-06
这篇文章主要介绍了在不同情景下对传统图像进行皮肤区域检测，文章中的代码具有一定的参考价值，感兴趣的小伙伴可以跟随小编一起来学习学习2021-12-12
最新评论