简单聊聊PyTorch里面的torch.nn.Parameter()
在刷官方Tutorial的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看了官方教程里面的解释也是云里雾里，于是在栈溢网看到了一篇解释，并做了几个实验才算完全理解了这个函数。首先可以把这个函数理解为类型转换函数，将一个不可训练的类型Tensor转换成可以训练的类型parameter并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的parameter，所以在参数优化的时候可以进行优化的)，所以经过类型转换这个self.v变成了模型的一部分，成为了模型中根据训练可以改动的参数了。使用这个函数的目的也是想让某些变量在学习的过程中不断的修改其值以达到最优化。
出现这个函数的地方
在concat注意力机制中，权值V是不断学习的所以要是parameter类型。
通过做下面的实验发现，linear里面的weight和bias就是parameter类型，且不能够使用tensor类型替换，还有linear里面的weight甚至可能通过指定一个不同于初始化时候的形状进行模型的更改。
做的实验
self.v被绑定到模型中了，所以可以在训练的时候优化
与torch.tensor([1,2,3],requires_grad=True)的区别，这个只是将参数变成可训练的，并没有绑定在module的parameter列表中。
总结
到此这篇关于PyTorch里面的torch.nn.Parameter()的文章就介绍到这了,更多相关PyTorch的torch.nn.Parameter()内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。这篇文章主要介绍了python利用numpy存取文件,需要的朋友可以参考下2019-09-09
scrapy数据存储在mysql数据库的两种方式(同步和异步)
这篇文章主要介绍了scrapy数据存储在mysql数据库的两种方式(同步和异步)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
这篇文章主要介绍了分享5个方便好用的Python自动化脚本，这次我们使用Python来实现几个自动化场景，或许可以用到你的工作中或者对你的学习有所帮助,需要的朋友可以参考一下2022-03-03
本文主要介绍了pandas中DataFrame的merge操作的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-07-07
这篇文章主要介绍了pytorch transforms图像增强的相关知识，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2023-04-04
本文主要介绍了pytest用例执行顺序和跳过执行详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
这篇文章主要给大家介绍了关于Python + selenium自动化环境搭建的相关资料，文中通过图文将实现的步骤一步步介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起看看吧2018-05-05
这篇文章主要介绍了python request post 列表的方法详解，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-02-02
灰狼优化算法是一种群智能优化算法，它的独特之处在于一小部分拥有绝对话语权的灰狼带领一群灰狼向猎物前进。本文具体介绍了灰狼优化算法的两种实现示例代码，需要的可以参考一下2022-03-03
有时候需要把dic转换为DataFrame格式,便于查看和存储,下面这篇文章主要给大家介绍了关于pandas中字典和dataFrame相互转换的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-09-09
最新评论