解决Pytorch训练过程中loss不下降的问题
更新时间：2020年01月02日 08:48:40 作者：猫猬兽
今天小编就为大家分享一篇解决Pytorch训练过程中loss不下降的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
在使用Pytorch进行神经网络训练时，有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多，包括学习率过小，数据没有进行Normalization等。不过除了这些常规的原因，还有一种难以发现的原因：在计算loss时数据维数不匹配。
下面是我的代码：
loss_function = torch.nn.MSE_loss() optimizer.zero_grad() output = model(x_train) loss = loss_function(output, y_train) loss.backward() optimizer.step()
要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配，否则训练误差不下降，无法训练。这种错误在训练一维数据时很容易忽略，要十分注意。
以上这篇解决Pytorch训练过程中loss不下降的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Python+Selenium实现短视频自动上传与发布的实践
本文主要介绍了Python+Selenium实现短视频自动上传与发布的实践，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-04-04
今天看了open函数,看到w+ r+ a+ 这种可读可写的操作,下面这篇文章主要给大家介绍了关于python使用open函数对文件进行处理的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-05-05
python 内置库wsgiref的使用（WSGI基础入门）
WSGI（web服务器网关接口）主要规定了服务器端和应用程序之间的接口，即规定了请求的URL到后台处理函数之间的映射该如何实现。wsgiref是一个帮助开发者开发测试的Python内置库，程序员可以通过这个库了解WSGI的基本运行原理，但是不能把它用在生产环境上。2021-06-06
今天小编就为大家分享一篇python3 requests库实现多图片爬取教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了Python+OpenCV实现图像融合的原理及代码,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2018-12-12
这篇文章主要介绍了Python中数字以及算数运算符的相关使用,是Python入门学习中的基础知识,需要的朋友可以参考下2015-10-10
中秋节是中国传统的重要节日之一,起源于嫦娥奔月的神话故事,在中秋节这个特殊的日子里,人们不仅会欣赏明亮的月亮和嫦娥奔月的美丽故事,还会举行一些庆祝活动,接下来,我们使用Pygame制作“嫦娥奔月”小游戏,感兴趣的朋友可以自己动手试一试2023-09-09
这篇文章主要介绍了解决Pyinstaller打包软件失败的一个坑，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03![Pycharm之如何安装cv2 [python3.6]](//img.jbzj.com/images/xgimg/bcimg8.png)
这篇文章主要介绍了Pycharm之如何安装cv2 [python3.6]问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-05-05
这篇文章主要介绍了如何使用Python进行PDF图片识别OCR，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2021-01-01
![Pycharm之如何安装cv2 [python3.6]](http://img.jbzj.com/images/xgimg/bcimg8.png)
最新评论