python使用torch随机初始化参数

更新时间：2022年03月22日 10:52:42 作者：就是一顿骚操作

这篇文章主要介绍了python使用torch随机初始化参数，文章围绕torch随机初始化参数的相关资料展开文章详细内容，具有一定的参考价值，需要的小伙伴可以参考一下，希望对你有所帮助

1、从均匀分布中生成值

w = torch.zeros(3, 5)
w
Out[75]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])
torch.nn.init.uniform_(w, a=10, b=15)
Out[76]: 
tensor([[11.8949, 11.0836, 10.6348, 13.4524, 12.8051],
        [14.5289, 11.3441, 10.0570, 11.0310, 11.3643],
        [10.2919, 11.2083, 13.5757, 13.3987, 11.0059]])

2、分布N(mean, std)中生成值

从给定均值和标准差的正态分布N(mean, std)中生成值，填充输入的张量或变量

w = torch.zeros(3, 5)
torch.nn.init.normal_(w, mean=0, std=0.1)
Out[78]: 
tensor([[-0.1810, -0.0781,  0.0562,  0.0239, -0.0599],
        [ 0.0340,  0.1520,  0.0534,  0.1895,  0.0135],
        [ 0.0149, -0.1131, -0.0643,  0.0160, -0.2282]])

3、使用值val填充输入Tensor

w = torch.empty(2, 5)
torch.nn.init.constant_(w, val=0.6)
Out[80]: 
tensor([[0.6000, 0.6000, 0.6000, 0.6000, 0.6000],
        [0.6000, 0.6000, 0.6000, 0.6000, 0.6000]])

3.1、使用0，或者1 填充数据

torch.nn.init.zeros_(w)
Out[83]: 
tensor([[0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.],
        [0., 0., 0., 0., 0.]])

torch.nn.init.ones_(w)
Out[85]: 
tensor([[1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.],
        [1., 1., 1., 1., 1.]])

4、用单位矩阵填充二维输入张量

w = torch.empty(3, 5)
torch.nn.init.eye_(w)
Out[82]: 
tensor([[1., 0., 0., 0., 0.],
        [0., 1., 0., 0., 0.],
        [0., 0., 1., 0., 0.]])
torch.nn.init.zeros_(w)

5、其他常用的初始化方法

torch.nn.init.xavier_normal_(w)
Out[87]: 
tensor([[ 0.2121, -0.3607,  0.6342,  0.1501,  0.0018],
        [-0.0737,  0.6971, -0.2628,  0.1004, -0.0322],
        [ 0.0093,  0.7139,  0.0263,  0.7135,  0.6979]])
torch.nn.init.xavier_uniform_(w)
Out[88]: 
tensor([[-0.1675, -0.1284, -0.4856,  0.5762, -0.6135],
        [ 0.0711, -0.8592, -0.0317,  0.6801,  0.4777],
        [ 0.2965, -0.5528, -0.5425,  0.5166,  0.5759]])
torch.nn.init.kaiming_normal_(w)
Out[89]: 
tensor([[ 0.0015,  0.0681,  0.5349, -0.0972, -0.8459],
        [ 0.6095, -0.0047,  0.2383,  1.1911, -1.2320],
        [-0.7059, -0.0080,  0.4166,  0.6686, -0.9375]])
torch.nn.init.kaiming_uniform_(w)
Out[90]: 
tensor([[-0.2876,  0.3591,  0.7630,  0.5041, -0.6685],
        [-0.6666,  0.5787,  0.9411, -0.0918,  1.0930],
        [-0.5985, -0.9909,  0.4831, -0.6703,  0.0351]])

到此这篇关于python使用torch随机初始化参数的文章就介绍到这了,更多相关torch随机初始化参数内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

如何彻底解决python NameError:name '__file__' is not
这篇文章主要给大家介绍了关于如何彻底解决python NameError:name '__file__' is not defined的相关资料,文中通过图文将解决的办法介绍的非常详细,需要的朋友可以参考下
2023-02-02
Python实现生成多种有规律的数字序列
在 Python 编程中,生成数字序列是一项常见且重要的任务,本文将深入探讨如何使用Python中的内置函数、列表推导式、生成器等方式来生成多种有规律的数字序列,需要的可以参考下
2024-03-03
Python的网络编程库Gevent的安装及使用技巧
Gevent库的奥义在于并发式的高性能网络程序设计支持,这里我们将来讲解Python的网络编程库Gevent的安装及使用技巧,来看一下Gevent支持的多进程程序编写:
2016-06-06
Python深度学习实战PyQt5菜单和工具栏功能作用
本文详细解读通过 QtDesigner 创建主窗口、菜单栏和工具栏，并以菜单项 “退出” 为例关联系统定义的动作处理方法。有需要的朋友可以借鉴参考下，希望能够有所帮助
2021-10-10
Python获取系统所有进程PID及进程名称的方法示例
这篇文章主要介绍了Python获取系统所有进程PID及进程名称的方法,涉及Python使用psutil对系统进程进行操作的相关实现技巧,需要的朋友可以参考下
2018-05-05
pygame编写音乐播放器的实现代码示例
这篇文章主要介绍了pygame编写音乐播放器的实现代码示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-11-11
Django给表单添加honeypot验证增加安全性
这篇文章主要介绍了Django给表单添加honeypot验证增加安全性的方法，帮助大家更好的理解和学习使用Django框架，感兴趣的朋友可以了解下
2021-05-05
Python中类方法@classmethod和静态方法@staticmethod解析
这篇文章主要介绍了Python中类方法@classmethod和静态方法@staticmethod解析,python中存在三种方法,分别为常规方法（定义中传入self）、@classmethod修饰的类方法、@staticmethod修饰的静态方法,,需要的朋友可以参考下
2023-08-08
python队列queue模块详解
这篇文章主要为大家详细介绍了python队列queue模块的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-04-04
Python贪心算法Greedy Algorithm解决案例小结
这篇文章主要为大家介绍了Python贪心算法Greedy Algorithm解决案例小结，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-06-06