PyTorch里面的torch.nn.Parameter()详解
更新时间：2020年01月03日 09:14:43 作者：Mr丶营先生
今天小编就为大家分享一篇PyTorch里面的torch.nn.Parameter()详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
在看过很多博客的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),首先可以把这个函数理解为类型转换函数，将一个不可训练的类型Tensor转换成可以训练的类型parameter并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的parameter，所以在参数优化的时候可以进行优化的)，所以经过类型转换这个self.v变成了模型的一部分，成为了模型中根据训练可以改动的参数了。
使用这个函数的目的也是想让某些变量在学习的过程中不断的修改其值以达到最优化。
出现这个函数的地方
在concat注意力机制中，权值V是不断学习的所以要是parameter类型，不直接使用一个torch.nn.Linear()可能是因为学习的效果不好。
通过做下面的实验发现，linear里面的weight和bias就是parameter类型，且不能够使用tensor类型替换，还有linear里面的weight甚至可能通过指定一个不同于初始化时候的形状进行模型的更改。
self.gamma被绑定到模型中了，所以可以在训练的时候优化
以上这篇PyTorch里面的torch.nn.Parameter()详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇nohup后台启动Python脚本,log不刷新的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
Type Hints（类型注解）进一步强化了Python是一门强类型语言的特性，它在 Python3.5 中第一次被引入。使用Type Hints可以让我们编写出带有类型的Python代码，本文将详细介绍一下Type Hints，感兴趣的小伙伴可以关注一下2021-11-11
本文主要介绍了python正则表达式re.group()用法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-08-08
我最近都在写一些Python 3.8的新功能介绍的文章，在自己的项目中也在提前体验新的Python版本。这篇文章主要介绍了Python 3.8新特征之asyncio REPL,需要的朋友可以参考下2019-05-05
这篇文章主要介绍了python configparser中默认值的设定方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-02-02
这篇文章主要介绍了使用Python编写Linux系统守护进程实例,本文先是讲解了什么是守护进程,然后给出了一个Python语言的简单实现,需要的朋友可以参考下2015-02-02
这篇文章主要介绍了关于python 解决print数组/矩阵无法完整输出的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了Python selenium实现断言3种方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-09-09
Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项,下面这篇文章主要给大家介绍了关于在Anaconda安装Pytorch的详细步骤,需要的朋友可以参考下2022-07-07
这篇文章主要介绍了Python图像处理之图像的灰度线性变换，文章围绕主题展开详细的内容戒杀，具有一定的参考价值，需要的小伙伴可以参考一下2022-09-09
最新评论