浅谈PyTorch中in-place operation的含义
in-place operation在pytorch中是指改变一个tensor的值的时候，不经过复制操作，而是直接在原来的内存上改变它的值。可以把它成为原地操作符。
在pytorch中经常加后缀“_”来代表原地in-place operation，比如说.add_() 或者.scatter()。python里面的+=，*=也是in-place operation。
下面是正常的加操作,执行结束加操作之后x的值没有发生变化：
import torch x=torch.rand(2) #tensor([0.8284, 0.5539]) print(x) y=torch.rand(2) print(x+y) #tensor([1.0250, 0.7891]) print(x) #tensor([0.8284, 0.5539])
下面是原地操作，执行之后改变了原来变量的值：
import torch x=torch.rand(2) #tensor([0.8284, 0.5539]) print(x) y=torch.rand(2) x.add_(y) print(x) #tensor([1.1610, 1.3789])
在官方问文档中由这一段话：
如果你使用了in-place operation而没有报错的话，那么你可以确定你的梯度计算是正确的。
补充知识：PyTorch中nn.ReLU(inplace=True)中inplace的作用
我们用PyTorch搭建神经网络时，会遇到nn.ReLU(inplace=True),inplace=True是什么意思呢？
nn.Conv2d(64,192,kernel_size=3,stride=1,padding=1),
nn.ReLu(inpalce=True),# inplace为True，默认为False
意思是：是否将计算得到的值直接覆盖之前的值
例如：x = x+1
即对原值x进行+1操作后得到的值，直接赋值给x
而不是如下找一个中间变量y：
y=x+1
x=y
先将x进行+1操作后赋值给中间变量y，然后将y值赋给x
这样就需要内存存储变量y
因此当inplace=True时：
就是对从上层网络nn.Conv2d中传递下来的tensor直接进行修改，这样能够节省运算内存，不用多存储其他变量。
以上这篇浅谈PyTorch中in-place operation的含义就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python3+selenium获取页面加载的所有静态资源文件链接操作
这篇文章主要介绍了python3+selenium获取页面加载的所有静态资源文件链接操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
今天小编就为大家分享一篇python 获取等间隔的数组实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
这篇文章主要介绍了Python序列化pickle模块使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
pytorch1.60 torch.nn在pycharm中无法自动智能提示的解决
这篇文章主要介绍了pytorch1.60 torch.nn在pycharm中无法自动智能提示的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
Python使用PyPDF2和ReportLab操作PDF文件的详细指南
在日常工作和项目中,PDF 文件处理是个常见需求,不论是合并报告、加密文档、填充表单,还是生成发票,Python 中有许多用于操作 PDF 文件的库,其中 PyPDF2 和 ReportLab 是两个广泛使用的工具,本文给大家介绍了Python使用PyPDF2和ReportLab操作PDF文件的详细指南2025-01-01
在Python编程中,函数的形参和实参是函数定义和调用的重要概念,本文主要介绍了一道题学会Python函数中形参和实参,具有一定的参考价值,感兴趣的可以了解一下2024-01-01
今天小编就为大家分享一篇python 获取图片分辨率的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了Python中decorator使用实例,本文讲解了如何调用decorator、decorator函数的定义、decorator的应用场景等内容,需要的朋友可以参考下2015-04-04
今天小编就为大家分享一篇关于Python中的异常介绍，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2021-08-08
消消乐的热门程度几乎赶上王者荣耀，你是否也有收到过好友邀请你帮解锁关卡的时候，今天小编带你用python编写一个自己的消消乐升级版，同学请往下看2021-09-09
最新评论