Pytorch 实现权重初始化

更新时间：2019年12月31日 15:51:09 作者：idotc

今天小编就为大家分享一篇Pytorch 实现权重初始化，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

在TensorFlow中，权重的初始化主要是在声明张量的时候进行的。而PyTorch则提供了另一种方法：首先应该声明张量，然后修改张量的权重。通过调用torch.nn.init包中的多种方法可以将权重初始化为直接访问张量的属性。

1、不初始化的效果

在Pytorch中，定义一个tensor，不进行初始化，打印看看结果：

w = torch.Tensor(3,4)
print (w)

可以看到这时候的初始化的数值都是随机的，而且特别大，这对网络的训练必定不好，最后导致精度提不上，甚至损失无法收敛。

2、初始化的效果

PyTorch提供了多种参数初始化函数：

torch.nn.init.constant(tensor, val)
torch.nn.init.normal(tensor, mean=0, std=1)
torch.nn.init.xavier_uniform(tensor, gain=1)

等等。详细请参考：http://pytorch.org/docs/nn.html#torch-nn-init

注意上面的初始化函数的参数tensor，虽然写的是tensor，但是也可以是Variable类型的。而神经网络的参数类型Parameter是Variable类的子类，所以初始化函数可以直接作用于神经网络参数。实际上，我们初始化也是直接去初始化神经网络的参数。

让我们试试效果:

w = torch.Tensor(3,4)
torch.nn.init.normal_(w)
print (w)

3、初始化神经网络的参数

对神经网络的初始化往往放在模型的__init__()函数中，如下所示：

class Net(nn.Module):

def __init__(self, block, layers, num_classes=1000):
  self.inplanes = 64
  super(Net, self).__init__()
  ***
  *** #定义自己的网络层
  ***

  for m in self.modules():
    if isinstance(m, nn.Conv2d):
      n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels
      m.weight.data.normal_(0, math.sqrt(2. / n))
    elif isinstance(m, nn.BatchNorm2d):
      m.weight.data.fill_(1)
      m.bias.data.zero_()

***
*** #定义后续的函数
***

也可以采取另一种方式：

定义一个权重初始化函数，如下：

def weights_init(m):
  classname = m.__class__.__name__
  if classname.find('Conv2d') != -1:
    init.xavier_normal_(m.weight.data)
    init.constant_(m.bias.data, 0.0)
  elif classname.find('Linear') != -1:
    init.xavier_normal_(m.weight.data)
    init.constant_(m.bias.data, 0.0)

在模型声明时，调用初始化函数，初始化神经网络参数：

model = Net(*****)
model.apply(weights_init)

以上这篇Pytorch 实现权重初始化就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

如何用Python和JS实现的Web SSH工具
这篇文章主要介绍了如何用Python和JS实现的Web SSH工具,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-02-02
Python 实现选择排序的算法步骤
下面小编就为大家分享一篇Python 实现选择排序的算法步骤，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-04-04
Python中打包和解包（*和**）的使用详解
*和**在函数的定义和调用阶段，有着不同的功能，并且，*和**不能离开函数使用，这篇文章主要介绍了Python中打包和解包（*和**）的使用详解,需要的朋友可以参考下
2022-08-08
python求最大值最小值方法总结
在本篇内容里小编给大家分享了关于python求最大值最小值方法以及实例内容，有兴趣的朋友们学习下。
2019-06-06
matplotlib之轻松解决中文乱码的问题
这篇文章主要介绍了matplotlib之轻松解决中文乱码的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-09-09
python和php学习哪个更有发展
在本篇内容里小编给大家分析了关于python和php学习哪个更有发展相关论点，有兴趣的朋友们参考下。
2020-06-06
Python标准库06之子进程 (subprocess包) 详解
本篇文章主要介绍了Python标准库06之子进程 (subprocess包) 详解，具有一定的参考价值，有兴趣的同学可以了解一下。
2016-12-12
Python格式化输出的具体实现
本文主要介绍了Python格式化输出的具体实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2022-06-06
Python正则表达式re.compile()和re.findall()详解
re 模块提供了不少有用的函数,用以匹配字符串,下面这篇文章主要给大家介绍了关于Python正则表达式re.compile()和re.findall()的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下
2022-07-07
Python切片操作实例分析
这篇文章主要介绍了Python切片操作,结合实例形式较为详细的分析了Python切片相关的正向、反向、步长等使用技巧与相关注意事项,需要的朋友可以参考下
2018-03-03