PyTorch里面的torch.nn.Parameter()详解
在看过很多博客的时候发现了一个用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),首先可以把这个函数理解为类型转换函数,将一个不可训练的类型Tensor转换成可以训练的类型parameter并将这个parameter绑定到这个module里面(net.parameter()中就有这个绑定的parameter,所以在参数优化的时候可以进行优化的),所以经过类型转换这个self.v变成了模型的一部分,成为了模型中根据训练可以改动的参数了。
使用这个函数的目的也是想让某些变量在学习的过程中不断的修改其值以达到最优化。
出现这个函数的地方
在concat注意力机制中,权值V是不断学习的所以要是parameter类型,不直接使用一个torch.nn.Linear()可能是因为学习的效果不好。
通过做下面的实验发现,linear里面的weight和bias就是parameter类型,且不能够使用tensor类型替换,还有linear里面的weight甚至可能通过指定一个不同于初始化时候的形状进行模型的更改。
self.gamma被绑定到模型中了,所以可以在训练的时候优化
以上这篇PyTorch里面的torch.nn.Parameter()详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
相关文章
Python编程tkinter库Canvas实现涂鸦颜色表及围棋盘示例
这篇文章主要为大家介绍了Python编程中如何使用tkinter库Canvas来实现涂鸦,颜色表及围棋盘的示例,有需要的朋友可以借鉴参考下,希望能够有所帮助2021-10-10Python3利用scapy局域网实现自动多线程arp扫描功能
这篇文章主要介绍了Python3利用scapy局域网实现自动多线程arp扫描功能,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2021-01-01Pycharm2020最新激活码|永久激活(附最新激活码和插件的详细教程)
这篇文章主要介绍了Pycharm2020最新激活码|永久激活(附最新激活码和插件的详细教程),本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-09-09
最新评论