Keras: model实现固定部分layer,训练部分layer操作
需求：Resnet50做调优训练，将最后分类数目由1000改为500。
问题：网上下载了resnet50_weights_tf_dim_ordering_tf_kernels_notop.h5，更改了Resnet50后，由于所有层均参加训练，导致训练速度慢。实际上只需要训练最后3层，前面的层都不需要训练。
解决办法：
①将模型拆分为两个模型，一个为前面的notop部分，一个为最后三层，然后利用model的trainable属性设置只有后一个model训练，最后将两个模型合并起来。
②不用拆分，遍历模型的所有层，将前面层的trainable设置为False即可。代码如下：
for layer in model.layers[:-3]: print(layer.trainable) layer.trainable = False
注意事项：
①尽量不要这样：
layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)
因为容易出错。。。
②加载notop参数时注意by_name=True.
补充知识：Keras关于训练冻结部分层
设置冻结层有两种方式。
（不推荐）是在搭建网络时，直接将某层的trainable设置为false，例如:
layers.Conv2D(filters1, (1, 1), trainable=False)(input_tensor)
在网络搭建完成时，遍历model.layer,然后将layer.trainable设置为False:
# 冻结网络倒数的3层 for layer in model.layers[:-3]: print(layer.trainable) layer.trainable = False
也可以根据layer.name来确定哪些层需要冻结,例如冻结最后一层和RNN层：
for layer in model.layers:
layerName=str(layer.name)
if layerName.startswith("RNN_") or layerName.startswith("Final_"):
layer.trainable=False
可以在实例化之后将网络层的 trainable 属性设置为 True 或 False。为了使之生效，在修改 trainable 属性之后，需要在模型上调用 compile()。
这是一个例子
x = Input(shape=(32,)) layer = Dense(32) layer.trainable = False y = layer(x) frozen_model = Model(x, y) # 在下面的模型中，训练期间不会更新层的权重 frozen_model.compile(optimizer='rmsprop', loss='mse') layer.trainable = True trainable_model = Model(x, y) # 使用这个模型，训练期间 `layer` 的权重将被更新 # (这也会影响上面的模型，因为它使用了同一个网络层实例) trainable_model.compile(optimizer='rmsprop', loss='mse') frozen_model.fit(data, labels) # 这不会更新 `layer` 的权重 trainable_model.fit(data, labels) # 这会更新 `layer` 的权重
在网络搭建时，可以考虑最后一个分类层命名和分类数量关联，这样当费雷数量方式变化时，model.load_weight(“weight.h5”，by_name=True)不会加载最后一层
以上这篇Keras: model实现固定部分layer,训练部分layer操作就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
pytorch中.numpy()、.item()、.cpu()、.detach()以及.data的使用方法
这篇文章主要给大家介绍了关于pytorch中.numpy()、.item()、.cpu()、.detach()以及.data的使用方法,文中通过实例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2022-08-08
这篇文章主要为大家详细介绍得了如何利用Python中pygame的这个非标准库来做个小游戏-拼图，文中的示例代码讲解详细，感兴趣的小伙伴可以尝试一下2022-11-11
这篇文章主要为大家详细介绍了PyQt5+requests实现车票查询工具，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-01-01
windows下python虚拟环境virtualenv安装和使用详解
这篇文章主要介绍了windows下python虚拟环境virtualenv安装和使用详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-07-07
在数据处理和分析中,经常面临着需要限制数据范围的情况,而pandas库提供的clip函数就是一个强大的工具,可以方便地对数据进行修剪,本文将深入介绍clip函数的基本用法、常见参数以及实际场景中的应用,以帮助大家充分理解并灵活运用这一功能2024-01-01
这篇文章主要介绍了Python面向对象之多态原理与用法,结合具体案例形式分析了Python多态的具体功能、原理、使用方法与操作注意事项,需要的朋友可以参考下2019-12-12
Python是一种简单易学的编程语言，适合初学者入门。本文将介绍Python的安装教程以及快速入门，帮助读者快速上手Python编程。2023-09-09
这篇文章主要介绍了Python定时发送天气预报邮件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
这篇文章主要介绍了python 如何执行控制台命令与操作剪切板，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
这篇文章主要介绍了python中的空值判断和空字符串判断方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-11-11
最新评论