PyTorch中常用的激活函数的方法示例
更新时间：2019年08月20日 10:53:44 作者：Steven·简谈
这篇文章主要介绍了PyTorch中常用的激活函数的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
神经网络只是由两个或多个线性网络层叠加，并不能学到新的东西，简单地堆叠网络层，不经过非线性激活函数激活，学到的仍然是线性关系。
但是加入激活函数可以学到非线性的关系，就具有更强的能力去进行特征提取。
构造数据
import torch import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt x = torch.linspace(-5, 5, 200) # 构造一段连续的数据 x = Variable(x) # 转换成张量 x_np = x.data.numpy() # 换成 numpy array, 出图时用
Relu
表达式：
代码：
y_relu = F.relu(x).data.numpy() plt.plot(x_np, y_relu, c='red', label='relu') plt.ylim((-1, 5)) plt.legend(loc='best') plt.show()
形状如图：
Sigmoid
表达式：
代码：
y_sigmoid = F.sigmoid(x).data.numpy() plt.plot(x_np, y_sigmoid, c='red', label='sigmoid') plt.ylim((-0.2, 1.2)) plt.legend(loc='best') plt.show()
形状如图：
Tanh
表达式：
代码：
y_tanh = F.tanh(x).data.numpy() plt.plot(x_np, y_tanh, c='red', label='tanh') plt.ylim((-1.2, 1.2)) plt.legend(loc='best') plt.show()
形状如图：
Softplus
表达式：
代码：
y_softplus = F.softplus(x).data.numpy() plt.plot(x_np, y_softplus, c='red', label='softplus') plt.ylim((-0.2, 6)) plt.legend(loc='best') plt.show()
形状如图：
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要为大家详细介绍了python使用matplotlib绘制折线图，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-04-04
这篇文章主要介绍了python实现猜数字游戏(无重复数字)示例,需要的朋友可以参考下2014-03-03
== 和 is 是 Python 中对象比较常用的两种方式,简单来说，'==' 操作符比较对象之间的值是否相等,下面这篇文章主要给大家介绍了关于Python实用小知识之对象间比较的相关资料,需要的朋友可以参考下2021-10-10
这篇文章主要介绍了使用 python 实现单人AI 扫雷游戏,今天我们用 Python 完成这个小程序，并且用AI来学习并实现它，需要的朋友可以参考下2021-08-08
这篇文章主要介绍了查看keras的默认backend实现方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
Python提供了许多内置库来处理文件系统，如os、shutil和pathlib等，这些库可以帮助你创建、删除、读取、写入文件和目录，这篇文章主要介绍了使用Python操作文件系统,需要的朋友可以参考下2023-07-07
这篇文章主要给大家介绍了关于Python利用myqr库创建自己的二维码的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
这篇文章主要介绍了python实现对svn的操作及信息获取示例过程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-10-10
这篇文章主要为大家介绍了python神经网络学习使用Keras构建CNN网络训练，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要介绍了Tensorflow Summary用法学习笔记，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
最新评论