PyTorch中 tensor.detach() 和 tensor.data 的区别详解
更新时间：2020年01月06日 14:46:20 作者：梦家
今天小编就为大家分享一篇PyTorch中 tensor.detach() 和 tensor.data 的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch0.4中，.data 仍保留，但建议使用 .detach(), 区别在于 .data 返回和 x 的相同数据 tensor, 但不会加入到x的计算历史里，且require s_grad = False, 这样有些时候是不安全的, 因为 x.data 不能被 autograd 追踪求微分 。
.detach() 返回相同数据的 tensor ,且 requires_grad=False ,但能通过 in-place 操作报告给 autograd 在进行反向传播的时候.
举例：
tensor.data
>>> a = torch.tensor([1,2,3.], requires_grad =True) >>> out = a.sigmoid() >>> c = out.data >>> c.zero_() tensor([ 0., 0., 0.]) >>> out # out的数值被c.zero_()修改 tensor([ 0., 0., 0.]) >>> out.sum().backward() # 反向传播 >>> a.grad # 这个结果很严重的错误，因为out已经改变了 tensor([ 0., 0., 0.])
tensor.detach()
>>> a = torch.tensor([1,2,3.], requires_grad =True) >>> out = a.sigmoid() >>> c = out.detach() >>> c.zero_() tensor([ 0., 0., 0.]) >>> out # out的值被c.zero_()修改 !! tensor([ 0., 0., 0.]) >>> out.sum().backward() # 需要原来out得值，但是已经被c.zero_()覆盖了，结果报错 RuntimeError: one of the variables needed for gradient computation has been modified by an
以上这篇PyTorch中 tensor.detach() 和 tensor.data 的区别详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
本文给大家简单介绍了下链表的知识，然后用Python模拟一下单链表，比较简单，初学者可以参考参考，大神可以给我点改进意见2015-12-12
消消乐的热门程度几乎赶上王者荣耀，你是否也有收到过好友邀请你帮解锁关卡的时候，今天小编带你用python编写一个自己的消消乐升级版，同学请往下看2021-09-09
项目需要爬取评论数据，在此做一个记录，这里爬取的是web端的数据，以后可能会考虑爬取android app中的数据。2021-05-05
Python asyncore socket客户端开发基本使用教程
asyncore库是python的一个标准库，提供了以异步的方式写入套接字服务的客户端和服务器的基础结构，这篇文章主要介绍了Python asyncore socket客户端开发基本使用,需要的朋友可以参考下2022-12-12
这篇文章主要介绍了Python基于回溯法子集树模板实现图的遍历功能,结合实例形式分析了Python使用回溯法子集树模板针对图形遍历问题的相关操作技巧与注意事项,需要的朋友可以参考下2017-09-09
这篇文章主要介绍了Python实现八大排序算法,如何用Python实现八大排序算法，感兴趣的小伙伴们可以参考一下2016-08-08
这篇文章主要介绍了python3定位并识别图片验证码实现自动登录功能,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-01-01
这篇文章主要介绍了keras中的卷积层&池化层的用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
下面小编就为大家分享一篇对python .txt文件读取及数据处理方法总结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
在工作场景下,程序员如何运用PyCharm去书写代码以及运行文件,还有学会对各种突发情况的应对,这篇文章主要给大家介绍了关于pycharm查看之前的运行结果的相关资料,需要的朋友可以参考下2023-04-04
最新评论