在tensorflow实现直接读取网络的参数(weight and bias)的值
更新时间：2020年06月24日 09:51:27 作者：OsgoodWu
这篇文章主要介绍了在tensorflow实现直接读取网络的参数(weight and bias)的值，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
训练好了一个网络，想要查看网络里面参数是否经过BP算法优化过，可以直接读取网络里面的参数，如果一直是随机初始化的值，则证明训练代码有问题，需要改。
下面介绍如何直接读取网络的weight 和 bias。
(1) 获取参数的变量名。可以使用一下函数获取变量名：
def vars_generate1(self,scope_name_var): return [var for var in tf.global_variables() if scope_name_var in var.name ]
输入你想要读取的变量的一部分的名称(scope_name_var)，然后通过这个函数返回一个List，里面是所有含有这个名称的变量。
(2) 利用session读取变量的值：
def get_weight(self):
full_connect_variable = self.vars_generate1("pred_network/full_connect/l5_conv")
with tf.Session() as sess:
sess.run(tf.global_variables_initializer()) ##一定要先初始化变量
print(sess.run(full_connect_variable[0]))
之后如果想要看参数随着训练的变化，你可以将这些参数保存到一个txt文件里面查看。
补充知识：如何在 PyTorch 中设定学习率衰减（learning rate decay）
很多时候我们要对学习率（learning rate）进行衰减，下面的代码示范了如何每30个epoch按10%的速率衰减：
def adjust_learning_rate(optimizer, epoch): """Sets the learning rate to the initial LR decayed by 10 every 30 epochs""" lr = args.lr * (0.1 ** (epoch // 30)) for param_group in optimizer.param_groups: param_group['lr'] = lr
什么是param_groups?
optimizer通过param_group来管理参数组.param_group中保存了参数组及其对应的学习率,动量等等.所以我们可以通过更改param_group[‘lr']的值来更改对应参数组的学习率。
# 有两个`param_group`即,len(optim.param_groups)==2
optim.SGD([
{'params': model.base.parameters()},
{'params': model.classifier.parameters(), 'lr': 1e-3}
], lr=1e-2, momentum=0.9)
#一个参数组
optim.SGD(model.parameters(), lr=1e-2, momentum=.9)
以上这篇在tensorflow实现直接读取网络的参数(weight and bias)的值就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python读取ini配置的类封装代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-01-01
这篇文章主要为大家详细介绍了Python Numpy中数组的一些集合操作方法，文中的示例代码讲解详细，对我们学习Python有一定帮助，需要的可以参考一下2022-08-08
这篇文章主要介绍了详解Python并发编程之从性能角度来初探并发编程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
PyQt5 是一个用于创建图形用户界面的 Python 绑定库,它基于 Qt5 应用程序框架,在 PyQt5 中,QPushButton 是一个常用的控件,用于创建按钮,允许用户通过点击来触发某些操作,本文将详细介绍 QPushButton 的用法,并通过实际案例来展示其强大的功能2024-07-07
这篇文章主要介绍了python 中使用yagmail 发送邮件功能，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2021-12-12
这篇文章主要介绍了Python importlib动态导入模块实现代码,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
这篇文章主要为大家介绍了Python复合赋值运算符由浅入深实例探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
在本篇文章里小编给大家整理的是关于如何用python免费看美剧的方法内容，需要的朋友们可以学习下。2020-08-08
这篇文章主要给大家介绍了关于Python 3.7新功能之dataclass装饰器的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。2018-04-04
这篇文章主要介绍了浅谈一下Python中闭包的作用,闭包特点是返回的函数还引用了外层函数的局部变量,所以,要正确使用闭包,就要确保引用的局部变量在函数返回后不能变,需要的朋友可以参考下2023-12-12
最新评论