Pytorch多GPU训练过程

更新时间：2024年06月26日 09:21:36 作者：HHHTTY-

这篇文章主要介绍了Pytorch多GPU训练过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

1 导入库

import torch#深度学习的pytoch平台
import torch.nn as nn
from torch.autograd import Variable
from torch.utils.data import DataLoader
from torch.utils.data import TensorDataset

2 指定GPU

2.1 单GPU声明

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

2.2 多GPU声明

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5' #指定GPU编号
device = torch.device("cuda") #创建GPU对象

3 数据放到GPU

x_train = Variable(train,requires_grad=True).to(device=device,dtype=torch.float32) #把训练变量放到GPU

4 把模型网络放到GPU 【重要】

net = DNN(layers)
net = nn.DataParallel(net)
net.to(device=device)

重要：nn.DataParallel

net = nn.DataParallel(net)
net.to(device=device)

1.使用 nn.DataParallel 打包模型

2.然后用 nn.DataParallel 的 model.to(device) 把模型传送到多块GPU中进行运算

torch.nn.DataParallel（DP)

DataParallel（DP）中的参数：

module即表示你定义的模型
device_ids表示你训练时用到的gpu device
output_device这个参数表示输出结果的device，默认就是在第一块卡上，因此第一块卡的显存会占用的比其他卡要更多一些。

当调用nn.DataParallel的时候，input数据是并行的，但是output loss却不是这样的，每次都会在output_device上相加计算

===> 这就造成了第一块GPU的负载远远大于剩余其他的显卡。

DP的优势是实现简单，不涉及多进程，核心在于使用nn.DataParallel将模型wrap一下，代码其他地方不需要做任何更改。

例子：

5 其他：多GPU并行

加个判断：

 if torch.cuda.device_count() > 1:
        model = torch.nn.DataParallel(model)

model = Model(input_size, output_size)  # 实例化模型对象
if torch.cuda.device_count() > 1:  # 检查电脑是否有多块GPU
    print(f"Let's use {torch.cuda.device_count()} GPUs!")
    model = nn.DataParallel(model)  # 将模型对象转变为多GPU并行运算的模型

model.to(device)  # 把并行的模型移动到GPU上

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python常用模块函数代码汇总解析
这篇文章主要介绍了Python常用模块函数代码汇总解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-08-08
Python使用turtle库绘制小猪佩奇(实例代码)
这篇文章主要介绍了Python使用turtle库绘制小猪佩奇，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
2020-01-01
Python进阶之递归函数的用法及其示例
本篇文章主要介绍了Python进阶之递归函数的用法及其示例，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-01-01
Python 实现将大图切片成小图,将小图组合成大图的例子
这篇文章主要介绍了Python 实现将大图切片成小图,将小图组合成大图的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-03-03
五种Python转义表示法
这篇文章主要介绍了五种Python转义表示法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-11-11
python深度总结线性回归
这篇文章主要介绍了python的深度总结之线性回归，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-09-09
利用python为运维人员写一个监控脚本
近来在学习用Python进行一些电脑运维的工作。所以下面这篇文章主要给大家介绍了关于利用python为运维人员写一个监控脚本的相关资料，文中通过示例代码介绍的非常详细，需要的朋友可以参考借鉴，下面随着小编来一起学习学习吧。
2018-03-03
OpenCV物体跟踪树莓派视觉小车实现过程学习
这篇文章主要介绍了OpenCV物体跟踪树莓派视觉小车的实现过程学习，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
2021-10-10
Python简单实现socket信息发送与监听功能示例
这篇文章主要介绍了Python简单实现socket信息发送与监听功能,结合实例形式分析了Python基于socket构建客户端与服务器端通信相关操作技巧,需要的朋友可以参考下
2018-01-01
20个解决日常编程问题的Python代码分享
在这篇文章中，主要和大家分享了20个Python代码片段，以帮助你应对日常编程挑战。文中的示例代码讲解详细，感兴趣的小伙伴可以跟上小编一起了解一下
2023-01-01