pytorch使用指定GPU训练的实例
更新时间：2019年08月19日 15:21:52 作者：ax7399
今天小编就为大家分享一篇pytorch使用指定GPU训练的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
本文适合多GPU的机器，并且每个用户需要单独使用GPU训练。
虽然pytorch提供了指定gpu的几种方式，但是使用不当的话会遇到out of memory的问题，主要是因为pytorch会在第0块gpu上初始化，并且会占用一定空间的显存。这种情况下，经常会出现指定的gpu明明是空闲的，但是因为第0块gpu被占满而无法运行，一直报out of memory错误。
解决方案如下：
指定环境变量，屏蔽第0块gpu
CUDA_VISIBLE_DEVICES = 1 main.py
这句话表示只有第1块gpu可见，其他gpu不可用，此时要注意第1块gpu已经变成第0块，因此代码里应该使用编号0来指定gpu。如果依然使用cuda:1会报invalid device ordinal。
当然也可以在代码里使用os模块达到同样效果：
import os #多块使用逗号隔开 os.environ['CUDA_VISIBLE_DEVICES'] = '1'
使用torch.cuda.device with torch.cuda.device(1): ...
注意这种情况下gpu编号也会改变
关于这个问题的讨论，感兴趣的也可以去这里查看cuda out of memory error when GPU0 memory is fully utilized
以上这篇pytorch使用指定GPU训练的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
在本篇文章里小编给大家整理的是关于python进行游戏开发的相关知识点，需要的朋友们参考学习下。2020-06-06
OpenCV是计算机视觉领域一个图像和视频处理库,用于各种图像和视频分析,如面部识别和检测,车牌阅读,照片编辑,高级机器人视觉,光学字符识别等等,下面这篇文章主要给大家介绍了关于openCV入门学习基础教程第一篇的相关资料,需要的朋友可以参考下2022-11-11
在本篇内容里小编给大家整理的是一篇关于python爬虫筛选工作实例讲解内容，有需要的朋友们可以参考下。2020-11-11
这篇文章主要介绍了基于 Python实现云服务器的CDN域名远程鉴权配置，文章内容技术详细，具有一定的参考价值，需要的小伙伴可以参考一下2022-05-05
这篇文章主要介绍了Python Nose框架编写测试用例方法,需要的朋友可以参考下2017-10-10
这篇文章主要为大家详细介绍了python实现人机对战的井字棋游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-04-04
Python linecache.getline()读取文件中特定一行的脚本
Python中使用标准库中的linecache中的getline方法可以从某个文件中读取出特定的一行。2008-09-09
这篇文章主要为大家介绍了Python中常见的四种排序算法的实现：冒泡排序、选择排序、插入排序和快速排序，文中通过图片详细讲解了它们实现的原理与代码，需要的可以参考一下2022-04-04
今天小编就为大家分享一篇python 利用已有Ner模型进行数据清洗合并代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了Python 硬币兑换问题，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
最新评论