PyTorch中常用的激活函数的方法示例
更新时间：2019年08月20日 10:53:44 作者：Steven·简谈
这篇文章主要介绍了PyTorch中常用的激活函数的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
神经网络只是由两个或多个线性网络层叠加，并不能学到新的东西，简单地堆叠网络层，不经过非线性激活函数激活，学到的仍然是线性关系。
但是加入激活函数可以学到非线性的关系，就具有更强的能力去进行特征提取。
构造数据
import torch import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt x = torch.linspace(-5, 5, 200) # 构造一段连续的数据 x = Variable(x) # 转换成张量 x_np = x.data.numpy() # 换成 numpy array, 出图时用
Relu
表达式：
代码：
y_relu = F.relu(x).data.numpy() plt.plot(x_np, y_relu, c='red', label='relu') plt.ylim((-1, 5)) plt.legend(loc='best') plt.show()
形状如图：
Sigmoid
表达式：
代码：
y_sigmoid = F.sigmoid(x).data.numpy() plt.plot(x_np, y_sigmoid, c='red', label='sigmoid') plt.ylim((-0.2, 1.2)) plt.legend(loc='best') plt.show()
形状如图：
Tanh
表达式：
代码：
y_tanh = F.tanh(x).data.numpy() plt.plot(x_np, y_tanh, c='red', label='tanh') plt.ylim((-1.2, 1.2)) plt.legend(loc='best') plt.show()
形状如图：
Softplus
表达式：
代码：
y_softplus = F.softplus(x).data.numpy() plt.plot(x_np, y_softplus, c='red', label='softplus') plt.ylim((-0.2, 6)) plt.legend(loc='best') plt.show()
形状如图：
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python list和str互转的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
事件的处理机制非常的复杂,属于PyQt底层的事,不必我们关心,学会使用就行,下面这篇文章主要给大家介绍了关于如何在pyqt中实现全局事件的相关资料,需要的朋友可以参考下2022-02-02
这篇文章主要介绍了在Python下利用OpenCV来旋转图像的教程,代码和核心的算法都非常简单,需要的朋友可以参考下2015-04-04
本文主要介绍了如何使用Python中的animegan2-pytorch实现动图以及视频的卡通化效果，文中的代码具有一定的学习价值，需要的朋友可以参考一下2021-12-12
tensorflow基于CNN实战mnist手写识别(小白必看)
这篇文章主要介绍了tensorflow基于CNN实战mnist手写识别(小白必看),文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-07-07
这篇文章主要为大家详细介绍了python使用minimax算法实现五子棋，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-07-07
这篇文章主要介绍了Python psutil模块简单使用实例,本文直接给出使用脚本,实现查看cpu的信息、查看内存信息、查看系统启动时间、查看网卡信息等,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了Python中._pth文件的作用及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
我们要知道一点GIL并不是Python的特性,它是Python解释器Cpython引入的一个概念,下面这篇文章主要给大家介绍了关于python全局解释器GIL锁机制的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-12-12
本文介绍了如何使用Django中的session登录验证来保护网站的安全性。在此过程中，我们首先介绍了Django的认证架构和基本概念，然后我们深入探讨了如何使用session实现登录验证功能。最后，我们解释了如何创建一个Custom User Model，以及如何使用它来自定义用户对象。2023-04-04
最新评论