pytorch的Backward过程用时太长问题及解决
更新时间：2023年02月20日 08:31:37 作者：Ai_Taoism
这篇文章主要介绍了pytorch的Backward过程用时太长问题及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
pytorch Backward过程用时太长
问题描述
使用pytorch对网络进行训练的时候遇到一个问题，forward阶段很快(只需要几毫秒)，backward阶段却用时很长(需要十多秒)。
导致这个问题的原因很容易被大家忽视，而且网上基本上没有直接的解决方案，经过一天的折腾，总算把导致这个问题的原因搞清楚了。
解决方案
导致这个问题的原因在于训练数据的浅拷贝，由于backward过程中的梯度是和模型推理过程中的张量相关的，如果这些张量在被模型使用之前没有被深拷贝，意味着backward过程的会重复从这些张量的原始内存地址中取值，这个过程非常耗时。所以为了避免这个问题，需要养成一个好习惯，就是将张量数据输入模型之前进行深拷贝
pytorch的深拷贝方式如下：
tensor_a = tensor_b.clone().detach()
Pytorch backward()简单理解
backward()是反向传播求梯度，具体实现过程如下
import torch x=torch.tensor([1,2,3],requires_grad=True,dtype=torch.double) y=x**2 z=y.mean() z.backward() print(x.grad)
结果
tensor([0.6667, 1.3333, 2.0000], dtype=torch.float64)
有几个重要的点
1.必须要加上requires_grad=True才能求
2. 一般来说，需要标量才能求梯度。
3.具体过程如下：
z是一个标量（1*1矩阵）分别对x1，x2，x3求偏导， 再代入x1，x2，x3的数值，就是如上程序输出的结果
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
都2021年了Python的闭包和装饰器难道你还不会?今天就带大家详细总结一下Python闭包和装饰器的相关知识,需要的朋友可以参考下2021-06-06
在本篇文章里小编给大家整理了一篇关于python匿名函数的实例用法，有兴趣的朋友们可以学习参考下。2021-03-03
这篇文章主要为大家介绍了Python Flask全流程全栈项目实战之在线书店构建实现过程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-11-11
在最近的项目中小编使用了这个富文本编辑器，选择它的主要原因是配置非常简单，默认支持普通用户上传图片(不像ckeditor默认只有staff user才能上传图片。如果要让普通用户上传图片，还需修改源码装饰器)。现在让我们来看看如何使用这个富文本编辑器2021-05-05
Pycharm 创建 Django admin 用户名和密码的实例
今天小编就为大家分享一篇Pycharm 创建 Django admin 用户名和密码的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要介绍了Python tkinter界面实现历史天气查询的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
OpenCV-Python使用分水岭算法实现图像的分割与提取
在图像的处理过程中，经常需要从图像中将前景对象作为目标图像分割或者提取出来。本文就介绍了使用分水岭算法实现图像的分割与提取，感兴趣的可以了解一下2021-06-06
今天小编就为大家分享一篇python 检查是否为中文字符串的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
这篇文章主要为大家介绍了Python Map 函数，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2021-12-12
这篇文章主要介绍了python模块和包的应用BASE_PATH使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
最新评论