pytorch的Backward过程用时太长问题及解决
更新时间：2023年02月20日 08:31:37 作者：Ai_Taoism
这篇文章主要介绍了pytorch的Backward过程用时太长问题及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
pytorch Backward过程用时太长
问题描述
使用pytorch对网络进行训练的时候遇到一个问题，forward阶段很快(只需要几毫秒)，backward阶段却用时很长(需要十多秒)。
导致这个问题的原因很容易被大家忽视，而且网上基本上没有直接的解决方案，经过一天的折腾，总算把导致这个问题的原因搞清楚了。
解决方案
导致这个问题的原因在于训练数据的浅拷贝，由于backward过程中的梯度是和模型推理过程中的张量相关的，如果这些张量在被模型使用之前没有被深拷贝，意味着backward过程的会重复从这些张量的原始内存地址中取值，这个过程非常耗时。所以为了避免这个问题，需要养成一个好习惯，就是将张量数据输入模型之前进行深拷贝
pytorch的深拷贝方式如下：
tensor_a = tensor_b.clone().detach()
Pytorch backward()简单理解
backward()是反向传播求梯度，具体实现过程如下
import torch x=torch.tensor([1,2,3],requires_grad=True,dtype=torch.double) y=x**2 z=y.mean() z.backward() print(x.grad)
结果
tensor([0.6667, 1.3333, 2.0000], dtype=torch.float64)
有几个重要的点
1.必须要加上requires_grad=True才能求
2. 一般来说，需要标量才能求梯度。
3.具体过程如下：
z是一个标量（1*1矩阵）分别对x1，x2，x3求偏导， 再代入x1，x2，x3的数值，就是如上程序输出的结果
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python如何实现GIF图倒放，文中讲解非常细致，帮助大家更好的理解和学习，感兴趣的朋友可以了解下2020-07-07
selenium的几种定位方法中,大杀器之一就是xpath方法,学会它,你将无所不能.本文就带大家详细了解一下这个大杀器,文中有非常详细的介绍,需要的朋友可以参考下2021-05-05
这篇文章主要介绍了Pycharm内置终端及远程SSH工具的使用教程，本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-03-03
这篇文章主要介绍了Python中使用PDB库调试程序,本文讲解了使用PDB的二种模式以及PDB模式下的常用调试命令,需要的朋友可以参考下2015-04-04
Python实现删除当前目录下除当前脚本以外的文件和文件夹实例
这篇文章主要介绍了Python实现删除当前目录下除当前脚本以外的文件和文件夹的方法,涉及Python针对目录及文件的删除技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-07-07
忘记ftp密码了怎么办？下面介绍一个使用python ftplib库的方法,大家参考使用吧2014-01-01
这篇文章主要为大家详细介绍了如何使用Python编程语言编写一个简单的连接Wi-Fi的程序,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2024-01-01
CART算法是一种树构建算法，既可以用于分类任务，又可以用于回归，本文仅讨论基本的CART分类决策树构建，不讨论回归树和剪枝等问题，感兴趣的朋友跟随小编一起看看吧2021-10-10
在本篇文章里小编给大家分享的是关于python中subprocess实例用法及知识点详解内容，有需要的朋友们可以跟着学习下。2021-10-10
本文主要介绍了Python使用defaultdict解决字典默认值，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
最新评论