解决torch.to(device)是否赋值的坑

 更新时间:2024年06月27日 14:45:39   作者:不会卷积  
这篇文章主要介绍了解决torch.to(device)是否赋值的坑,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

torch.to(device)是否赋值的坑

在我们用GPU跑程序时,需要在程序中把变量和模型放到GPU里面。

有一些坑需要注意,本文用RNN模型实例

首先,定义device

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

对于变量,需要进行赋值操作才能真正转到GPU上:

all_input_batch=all_input_batch.to(device)

对于模型,不需要进行赋值:

 model = TextRNN()
 model.to(device)

对模型进行to(device),还有一种方法,就是在定义模型的时候全部对模型网络参数to(device),这样就可以不需要model.to(device)这句话。

class TextRNN(nn.Module):

    def __init__(self):
        super(TextRNN, self).__init__()
        #self.cnt = 0
        self.C = nn.Embedding(n_class, embedding_dim=emb_size,device=device)
        self.rnn = nn.RNN(input_size=emb_size, hidden_size=n_hidden,device=device)
        self.W = nn.Linear(n_hidden, n_class, bias=False,device=device)
        self.b = nn.Parameter(torch.ones([n_class])).to(device)


    def forward(self, X):
        X = self.C(X)
        #print(X.is_cuda)
        X = X.transpose(0, 1) # X : [n_step, batch_size, embeding size]
        outputs, hidden = self.rnn(X)
        # outputs : [n_step, batch_size, num_directions(=1) * n_hidden]
        # hidden : [num_layers(=1) * num_directions(=1), batch_size, n_hidden]
        outputs = outputs[-1] # [batch_size, num_directions(=1) * n_hidden]
        model = self.W(outputs) + self.b # model : [batch_size, n_class]
        return model

pytorch中model=model.to(device)用法

这代表将模型加载到指定设备上。

其中,device=torch.device("cpu")代表的使用cpu,而device=torch.device("cuda")则代表的使用GPU。

当我们指定了设备之后,就需要将模型加载到相应设备中,此时需要使用model=model.to(device),将模型加载到相应的设备中。

将由GPU保存的模型加载到CPU上

torch.load()函数中的map_location参数设置为torch.device('cpu')

device = torch.device('cpu')
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH, map_location=device))

将由GPU保存的模型加载到GPU上。确保对输入的tensors调用input = input.to(device)方法。

device = torch.device("cuda")
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH))
model.to(device)

将由CPU保存的模型加载到GPU上

确保对输入的tensors调用input = input.to(device)方法。

map_location是将模型加载到GPU上,model.to(torch.device('cuda'))是将模型参数加载为CUDA的tensor。

最后保证使用.to(torch.device('cuda'))方法将需要使用的参数放入CUDA。

device = torch.device("cuda")
model = TheModelClass(*args, **kwargs)
model.load_state_dict(torch.load(PATH, map_location="cuda:0"))  # Choose whatever GPU device number you want
model.to(device)

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 基于Python数据可视化利器Matplotlib,绘图入门篇,Pyplot详解

    基于Python数据可视化利器Matplotlib,绘图入门篇,Pyplot详解

    下面小编就为大家带来一篇基于Python数据可视化利器Matplotlib,绘图入门篇,Pyplot详解。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-10-10
  • 使用python opencv对目录下图片进行去重的方法

    使用python opencv对目录下图片进行去重的方法

    今天小编就为大家分享一篇使用python opencv对目录下图片进行去重的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python GUI布局尺寸适配方法

    Python GUI布局尺寸适配方法

    今天小编就为大家分享一篇Python GUI布局尺寸适配方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-10-10
  • python中小数点后的位数问题

    python中小数点后的位数问题

    这篇文章主要介绍了python中小数点后的位数问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-03-03
  • python list.sort()根据多个关键字排序的方法实现

    python list.sort()根据多个关键字排序的方法实现

    Python list内置sort()方法用来排序,也可以用python内置的全局sorted()方法来对可迭代的序列排序生成新的序列,本文详细的介绍了python list.sort()根据多个关键字排序,感兴趣的可以了解一下
    2021-12-12
  • python实现简易云音乐播放器

    python实现简易云音乐播放器

    这篇文章主要介绍了python实现简易云音乐播放器,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-01-01
  • Python字典,函数,全局变量代码解析

    Python字典,函数,全局变量代码解析

    这篇文章主要介绍了Python字典,函数,全局变量代码解析,具有一定借鉴价值,需要的朋友可以参考下。
    2017-12-12
  • python 微信好友特征数据分析及可视化

    python 微信好友特征数据分析及可视化

    这篇文章主要介绍了python 微信好友特征数据分析及可视化,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-01-01
  • Python三元运算实现方法

    Python三元运算实现方法

    这篇文章主要介绍了Python三元运算实现方法,通过if else语句实现了三元运算的功能,具有一定参考借鉴价值,需要的朋友可以参考下
    2015-01-01
  • 实例详解Python中的numpy.abs和abs函数

    实例详解Python中的numpy.abs和abs函数

    Numpy是python中最有用的工具之一,它可以有效地处理大容量数据,下面这篇文章主要给大家介绍了关于Python中numpy.abs和abs函数的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-08-08

最新评论