解决Keras 中加入lambda层无法正常载入模型问题

 更新时间:2020年06月16日 16:45:36   作者:机器玄学实践者  
这篇文章主要介绍了解决Keras 中加入lambda层无法正常载入模型问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

刚刚解决了这个问题,现在记录下来

问题描述

当使用lambda层加入自定义的函数后,训练没有bug,载入保存模型则显示Nonetype has no attribute 'get'

问题解决方法:

这个问题是由于缺少config信息导致的。lambda层在载入的时候需要一个函数,当使用自定义函数时,模型无法找到这个函数,也就构建不了。

m = load_model(path,custom_objects={"reduce_mean":self.reduce_mean,"slice":self.slice})

其中,reduce_mean 和slice定义如下

  def slice(self,x, turn):
    """ Define a tensor slice function
    """
    return x[:, turn, :, :]
  def reduce_mean(self, X):
    return K.mean(X, axis=-1)

补充知识:含有Lambda自定义层keras模型,保存遇到的问题及解决方案

一,许多应用,keras含有的层已经不能满足要求,需要透过Lambda自定义层来实现一些layer,这个情况下,只能保存模型的权重,无法使用model.save来保存模型。

保存时会报

TypeError: can't pickle _thread.RLock objects

二,解决方案,为了便于后续的部署,可以转成tensorflow的PB进行部署。

from keras.models import load_model
import tensorflow as tf
import os, sys
from keras import backend as K
from tensorflow.python.framework import graph_util, graph_io

def h5_to_pb(h5_weight_path, output_dir, out_prefix="output_", log_tensorboard=True):
  if not os.path.exists(output_dir):
    os.mkdir(output_dir)
  h5_model = build_model()
  h5_model.load_weights(h5_weight_path)
  out_nodes = []
  for i in range(len(h5_model.outputs)):
    out_nodes.append(out_prefix + str(i + 1))
    tf.identity(h5_model.output[i], out_prefix + str(i + 1))
  model_name = os.path.splitext(os.path.split(h5_weight_path)[-1])[0] + '.pb'
  sess = K.get_session()
  init_graph = sess.graph.as_graph_def()
  main_graph = graph_util.convert_variables_to_constants(sess, init_graph, out_nodes)
  graph_io.write_graph(main_graph, output_dir, name=model_name, as_text=False)
  if log_tensorboard:
    from tensorflow.python.tools import import_pb_to_tensorboard
    import_pb_to_tensorboard.import_to_tensorboard(os.path.join(output_dir, model_name), output_dir)

def build_model():
  inputs = Input(shape=(784,), name='input_img')
  x = Dense(64, activation='relu')(inputs)
  x = Dense(64, activation='relu')(x)
  y = Dense(10, activation='softmax')(x)
  h5_model = Model(inputs=inputs, outputs=y)
  return h5_model

if __name__ == '__main__':
  if len(sys.argv) == 3:
    # usage: python3 h5_to_pb.py h5_weight_path output_dir
    h5_to_pb(h5_weight_path=sys.argv[1], output_dir=sys.argv[2])

以上这篇解决Keras 中加入lambda层无法正常载入模型问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python的scrapy框架之Pipeline文件的用法详解

    python的scrapy框架之Pipeline文件的用法详解

    这篇文章主要介绍了python的scrapy框架之Pipeline文件的用法详解,Pipeline是一个独立的模块,用于处理从Spider中提取的Item对象,实现对数据的进一步处理、存储和清洗等操作,下面将详细介绍Scrapy框架中Pipeline的用法,需要的朋友可以参考下
    2023-10-10
  • Python基于pillow判断图片完整性的方法

    Python基于pillow判断图片完整性的方法

    这篇文章主要介绍了Python基于pillow判断图片完整性的方法,结合实例形式简单分析了pillow的安装及图片完整性判断的相关操作技巧,需要的朋友可以参考下
    2016-09-09
  • pytorch模型保存到本地后,如何实现继续训练

    pytorch模型保存到本地后,如何实现继续训练

    在PyTorch中,保存和加载模型对于实现模型训练的中断和恢复非常有用,保存模型主要有两种方式:一是保存整个模型包括结构与参数;二是仅保存模型的state_dict,加载模型时,若保存了整个模型则直接加载,若仅保存了state_dict,则需先实例化模型结构后加载
    2024-09-09
  • 从局部变量和全局变量开始全面解析Python中变量的作用域

    从局部变量和全局变量开始全面解析Python中变量的作用域

    无论是以类为基础的面相对象编程,还是单纯函数内部变量的定义,变量的作用域始终是Python学习中一个必须理解掌握的环节,下面我们从局部变量和全局变量开始全面解析Python中变量的作用域,需要的朋友可以参考下
    2016-06-06
  • Jupyter Notebook读入csv文件时出错的解决方案

    Jupyter Notebook读入csv文件时出错的解决方案

    这篇文章主要介绍了Jupyter Notebook读入csv文件时出错的解决方案,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • 如何用六步教会你使用python爬虫爬取数据

    如何用六步教会你使用python爬虫爬取数据

    网络爬虫就是按照一定规则自动访问互联网上的信息并把内容下载下来的程序或脚本,下面这篇文章主要给大家介绍了关于如何用六步教会你使用python爬虫爬取数据的相关资料,需要的朋友可以参考下
    2022-04-04
  • Python编程如何在递归函数中使用迭代器

    Python编程如何在递归函数中使用迭代器

    今天下午想要复现一下学长的recursion file,想模仿源码里的精髓:迭代器遇到了bug,花了一两个小时才解决。现总结如下,有需要的朋友也可借鉴参考下
    2021-09-09
  • C语言实现二叉搜索树的完整总结

    C语言实现二叉搜索树的完整总结

    这篇文章主要介绍了C语言实现二叉搜索树的完整总结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04
  • python3 中使用urllib问题以及urllib详解

    python3 中使用urllib问题以及urllib详解

    这篇文章主要介绍了python3 中使用urllib问题以及urllib详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-08-08
  • Python pass 语句使用示例

    Python pass 语句使用示例

    这篇文章主要介绍了Python pass 语句的使用方法示例,需要的朋友可以参考下
    2014-03-03

最新评论