简单聊聊PyTorch里面的torch.nn.Parameter()
更新时间：2022年02月24日 09:34:26 作者：VanJordan
torch.nn.parameter是一个被用作神经网络模块参数的tensor,这是一种tensor的子类,下面这篇文章主要给大家介绍了关于PyTorch里面的torch.nn.Parameter()的相关资料,需要的朋友可以参考下
在刷官方Tutorial的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解释也是云里雾里，于是在栈溢网看到了一篇解释，并做了几个实验才算完全理解了这个函数。首先可以把这个函数理解为类型转换函数，将一个不可训练的类型Tensor转换成可以训练的类型parameter并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的parameter，所以在参数优化的时候可以进行优化的)，所以经过类型转换这个self.v变成了模型的一部分，成为了模型中根据训练可以改动的参数了。使用这个函数的目的也是想让某些变量在学习的过程中不断的修改其值以达到最优化。
出现这个函数的地方
在concat注意力机制中，权值V是不断学习的所以要是parameter类型。
通过做下面的实验发现，linear里面的weight和bias就是parameter类型，且不能够使用tensor类型替换，还有linear里面的weight甚至可能通过指定一个不同于初始化时候的形状进行模型的更改。
做的实验
self.v被绑定到模型中了，所以可以在训练的时候优化
与torch.tensor([1,2,3],requires_grad=True)的区别，这个只是将参数变成可训练的，并没有绑定在module的parameter列表中。
总结
到此这篇关于PyTorch里面的torch.nn.Parameter()的文章就介绍到这了,更多相关PyTorch的torch.nn.Parameter()内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
您可能感兴趣的文章:
相关文章
这篇文章主要介绍了Python字典的基础操作，Python中的字典数据类型和现实中的字典很像，它是以键值对（键和值的组合）的方式把数据组织到一起，可以通过键找到与之对应的值并进行操作，下面来看文章金额提内容吧,需要的朋友可以参考一下2021-11-11
本文介绍了如何在Python中生成一到一百随机整数的多种方法,包括random库,NumPy库和random.sample函数这三种方法,具有一定的参考价值,感兴趣的可以了解一下2024-02-02
这篇文章主要为大家介绍了python学习print中format的用法示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
这篇文章主要介绍了python爬取”顶点小说网“《纯阳剑尊》的示例代码，帮助大家更好的利用python 爬虫爬取数据，感兴趣的朋友可以了解下2020-10-10
这篇文章主要介绍了Python生成器以及应用实例解析，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-02-02
这篇文章主要介绍了Python语言描述最大连续子序列和，具有一定借鉴价值，需要的朋友可以了解下。2017-12-12
这篇文章主要介绍了Java byte数组操纵方式代码实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
这篇文章主要介绍了Python自定义简单图轴简单实例，具有一定借鉴价值,需要的朋友可以参考下2018-01-01
今天小编就为大家分享一篇django1.11.1 models 数据库同步方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要介绍了python+flask编写一个简单的登录接口，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2020-11-11
最新评论