Pytorch多GPU训练过程

更新时间：2024年06月26日 09:21:36 作者：HHHTTY-

这篇文章主要介绍了Pytorch多GPU训练过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

1 导入库

import torch#深度学习的pytoch平台
import torch.nn as nn
from torch.autograd import Variable
from torch.utils.data import DataLoader
from torch.utils.data import TensorDataset

2 指定GPU

2.1 单GPU声明

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

2.2 多GPU声明

import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5' #指定GPU编号
device = torch.device("cuda") #创建GPU对象

3 数据放到GPU

x_train = Variable(train,requires_grad=True).to(device=device,dtype=torch.float32) #把训练变量放到GPU

4 把模型网络放到GPU 【重要】

net = DNN(layers)
net = nn.DataParallel(net)
net.to(device=device)

重要：nn.DataParallel

net = nn.DataParallel(net)
net.to(device=device)

1.使用 nn.DataParallel 打包模型

2.然后用 nn.DataParallel 的 model.to(device) 把模型传送到多块GPU中进行运算

torch.nn.DataParallel（DP)

DataParallel（DP）中的参数：

module即表示你定义的模型
device_ids表示你训练时用到的gpu device
output_device这个参数表示输出结果的device，默认就是在第一块卡上，因此第一块卡的显存会占用的比其他卡要更多一些。

当调用nn.DataParallel的时候，input数据是并行的，但是output loss却不是这样的，每次都会在output_device上相加计算

===> 这就造成了第一块GPU的负载远远大于剩余其他的显卡。

DP的优势是实现简单，不涉及多进程，核心在于使用nn.DataParallel将模型wrap一下，代码其他地方不需要做任何更改。

例子：

5 其他：多GPU并行

加个判断：

 if torch.cuda.device_count() > 1:
        model = torch.nn.DataParallel(model)

model = Model(input_size, output_size)  # 实例化模型对象
if torch.cuda.device_count() > 1:  # 检查电脑是否有多块GPU
    print(f"Let's use {torch.cuda.device_count()} GPUs!")
    model = nn.DataParallel(model)  # 将模型对象转变为多GPU并行运算的模型

model.to(device)  # 把并行的模型移动到GPU上

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

PyCharm运行Python代码时出现"未找到模块"错误解决步骤
在使用python的过程中经常会遇到一个问题,就是叫什么名字的模块未发现,下面这篇文章主要给大家介绍了关于PyCharm运行Python代码时出现"未找到模块"错误的解决步骤,需要的朋友可以参考下
2023-11-11
TensorFlow的reshape操作 tf.reshape的实现
这篇文章主要介绍了TensorFlow的reshape操作 tf.reshape的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-04-04
Python.append()与Python.expand()用法详解
今天小编就为大家分享一篇Python.append()与Python.expand()用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-12-12
python基础之编码规范总结
今天带大家来学习python基础知识,文中对python编码规范作了详细的介绍,对正在学习python的小伙伴们很有帮助,需要的朋友可以参考下
2021-05-05
用Python进行一些简单的自然语言处理的教程
这篇文章主要介绍了用Python进行一些简单的自然语言处理的教程,主要用到了pandas和collections库，需要的朋友可以参考下
2015-03-03
简单了解python关系（比较）运算符
这篇文章主要介绍了简单了解python关系（比较）运算符,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-07-07
基于Python pyecharts实现多种图例代码解析
这篇文章主要介绍了基于Python pyecharts实现多种图例代码解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-08-08
Python运行中频繁出现Restart提示的解决办法
在编程的世界里,遇到各种奇怪的问题是家常便饭,但是,当你的 Python 程序在运行过程中频繁出现“Restart”提示时,这可能不仅仅是令人头疼的小问题,而是隐藏着深层次的原因,本文将深入探讨这一现象,并提供解决方案,需要的朋友可以参考下
2025-04-04
Python中尝试多线程编程的一个简明例子
这篇文章主要介绍了Python中尝试多线程编程的一个简明例子,由于GIL的存在,Python中的多线程编程一个是热点和难点问题,需要的朋友可以参考下
2015-04-04
pycharm中成功运行图片的配置教程
今天小编就为大家分享一篇pycharm中成功运行图片的配置教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-10-10