pyTorch深度学习多层感知机的实现
更新时间：2021年09月30日 11:42:47 作者：算法菜鸟飞高高
这篇文章主要为大家介绍了pyTorch深度学习多层感知机的实现，文中附含详细示例代码，有需要的朋友可以借鉴参考下，希望能够有所帮
激活函数
前两节实现的传送门
pyTorch深入学习梯度和Linear Regression实现析
前两节实现的linear model 和 softmax model 是单层神经网络，只包含一个输入层和一个输出层，因为输入层不对数据进行transformation，所以只算一层输出层。
多层感知机(mutilayer preceptron)加入了隐藏层，将神经网络的层级加深，因为线性层的串联结果还是线性层，所以必须在每个隐藏层之后添加激活函数，即增加model的非线性能力，使得model的function set变大。
ReLU，Sigmoid， tanh是三个常见的激活函数，分别做出它们的函数图像以及导数图像。
#画图使用
def xyplot(x,y,name,size):
plt.figure(figsize=size)
plt.plot(x.detach().numpy(),y.detach().numpy())
plt.xlabel('x')
plt.ylabel(name+'(x)')
plt.show()
#relu x = torch.arange(-8,8,0.01,requires_grad=True) y = x.relu() xyplot(x,y,'relu')
y.sum().backward() xyplot(x,x.grad,'grad of relu')
其它两个激活函数的图像画法类似，分别为x.sigmoid(),x.tanh()
多层感知机的PyTorch实现
实际上多层感知机不过是在linear变换之后添加relu操作，在output layer进行softmax操作
def relu(x): return torch.max(input=x,others,other=torch.tensor(0.0))
max这个方法除了返回tensor中的最大值，还有和maximum函数一样的作用，将input和other进行element-wise的比较，返回二者中的最大值，shape不变。
class MulPeceptron(nn.Module):
def __init__(self,in_features,out_features):
super().__init__()
self.fc = nn.Linear(in_features=in_features,out_features=256)
self.out = nn.Linear(in_features=256,out_features=out_features)
def forward(self,t):
t = t.flatten(start_dim=1)
t = self.fc(t)
t = F.relu(t)
t = self.out(t)
return t
这里就不从零开始实现了，因为softmax和linear model手写过以后，这个只是增加了一个矩阵乘法和一个ReLU操作
以上就是pytorch深度学习多层感知机的实现的详细内容，更多关于pytorch实现多层感知机的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要为大家详细介绍了python实现浪漫的烟花秀，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-01-01
今天小编就为大家分享一篇在django中实现页面倒数几秒后自动跳转的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
一篇文章带你搞定Ubuntu中打开Pycharm总是卡顿崩溃
这篇文章主要介绍了一篇文章带你搞定Ubuntu中打开Pycharm总是卡顿崩溃，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
在 Django 中,QuerySet 的 filter() 方法是一个强大的工具,用于从数据库中检索数据并根据指定的条件进行筛选,在本文中,我们将介绍如何使用 filter() 方法来执行各种类型的数据查询操作,需要的朋友可以参考下2024-05-05
这篇文章主要介绍了Python编程求质数实例代码，对求200,1000和100000以内的质数进行了测试，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-01-01
今天小编就为大家分享一篇Python将多个list合并为1个list的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
Python使用urllib2模块抓取HTML页面资源的实例分享
这篇文章主要介绍了Python使用urllib2模块抓取HTML页面资源的实例分享,将要抓取的页面地址写在单独的规则列表中方便组织和重复使用,需要的朋友可以参考下2016-05-05
字符串去重是python中字符串操作常见的一个需求，最近在工作中就又遇到了，所以下面这篇文章主要给大家介绍了关于Python对字符串实现去重操作的相关资料，文中给出了详细的介绍，需要的朋友可以参考借鉴，下面来一起看看吧。2017-08-08
下面小编就为大家分享一篇详谈pandas中agg函数和apply函数的区别，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要介绍了Python3 实现递归求阶乘的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
最新评论