TensorFlow——Checkpoint为模型添加检查点的实例

更新时间：2020年01月21日 09:51:06 作者：Baby-Lily

今天小编就为大家分享一篇TensorFlow——Checkpoint为模型添加检查点的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

1.检查点

保存模型并不限于在训练模型后，在训练模型之中也需要保存，因为TensorFlow训练模型时难免会出现中断的情况，我们自然希望能够将训练得到的参数保存下来，否则下次又要重新训练。

这种在训练中保存模型，习惯上称之为保存检查点。

2.添加保存点

通过添加检查点，可以生成载入检查点文件，并能够指定生成检查文件的个数，例如使用saver的另一个参数——max_to_keep=1，表明最多只保存一个检查点文件，在保存时使用如下的代码传入迭代次数。

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
import os

train_x = np.linspace(-5, 3, 50)
train_y = train_x * 5 + 10 + np.random.random(50) * 10 - 5

plt.plot(train_x, train_y, 'r.')
plt.grid(True)
plt.show()

tf.reset_default_graph()

X = tf.placeholder(dtype=tf.float32)
Y = tf.placeholder(dtype=tf.float32)

w = tf.Variable(tf.random.truncated_normal([1]), name='Weight')
b = tf.Variable(tf.random.truncated_normal([1]), name='bias')

z = tf.multiply(X, w) + b

cost = tf.reduce_mean(tf.square(Y - z))
learning_rate = 0.01
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)

init = tf.global_variables_initializer()

training_epochs = 20
display_step = 2


saver = tf.train.Saver(max_to_keep=15)
savedir = "model/"


if __name__ == '__main__':
 with tf.Session() as sess:
  sess.run(init)
  loss_list = []
  for epoch in range(training_epochs):
   for (x, y) in zip(train_x, train_y):
    sess.run(optimizer, feed_dict={X: x, Y: y})

   if epoch % display_step == 0:
    loss = sess.run(cost, feed_dict={X: x, Y: y})
    loss_list.append(loss)
    print('Iter: ', epoch, ' Loss: ', loss)

   w_, b_ = sess.run([w, b], feed_dict={X: x, Y: y})

   saver.save(sess, savedir + "linear.cpkt", global_step=epoch)

  print(" Finished ")
  print("W: ", w_, " b: ", b_, " loss: ", loss)
  plt.plot(train_x, train_x * w_ + b_, 'g-', train_x, train_y, 'r.')
  plt.grid(True)
  plt.show()

 load_epoch = 10

 with tf.Session() as sess2:
  sess2.run(tf.global_variables_initializer())
  saver.restore(sess2, savedir + "linear.cpkt-" + str(load_epoch))
  print(sess2.run([w, b], feed_dict={X: train_x, Y: train_y}))

在上述的代码中，我们使用saver.save(sess, savedir + "linear.cpkt", global_step=epoch)将训练的参数传入检查点进行保存，saver = tf.train.Saver(max_to_keep=1)表示只保存一个文件，这样在训练过程中得到的新的模型就会覆盖以前的模型。

cpkt = tf.train.get_checkpoint_state(savedir)
if cpkt and cpkt.model_checkpoint_path:
　　saver.restore(sess2, cpkt.model_checkpoint_path)

kpt = tf.train.latest_checkpoint(savedir)
saver.restore(sess2, kpt)

上述的两种方法也可以对checkpoint文件进行加载，tf.train.latest_checkpoint(savedir)为加载最后的检查点文件。这种方式，我们可以通过保存指定训练次数的检查点，比如保存5的倍数次保存一下检查点。

3.简便保存检查点

我们还可以用更加简单的方法进行检查点的保存，tf.train.MonitoredTrainingSession()函数，该函数可以直接实现保存载入检查点模型的文件，与前面的方法不同的是，它是按照训练时间来保存检查点的，可以通过指定save_checkpoint_secs参数的具体秒数，设置多久保存一次检查点。

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
import os

train_x = np.linspace(-5, 3, 50)
train_y = train_x * 5 + 10 + np.random.random(50) * 10 - 5

# plt.plot(train_x, train_y, 'r.')
# plt.grid(True)
# plt.show()

tf.reset_default_graph()

X = tf.placeholder(dtype=tf.float32)
Y = tf.placeholder(dtype=tf.float32)

w = tf.Variable(tf.random.truncated_normal([1]), name='Weight')
b = tf.Variable(tf.random.truncated_normal([1]), name='bias')

z = tf.multiply(X, w) + b

cost = tf.reduce_mean(tf.square(Y - z))
learning_rate = 0.01
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost)

init = tf.global_variables_initializer()

training_epochs = 30
display_step = 2


global_step = tf.train.get_or_create_global_step()

step = tf.assign_add(global_step, 1)

saver = tf.train.Saver()

savedir = "check-point/"

if __name__ == '__main__':
 with tf.train.MonitoredTrainingSession(checkpoint_dir=savedir + 'linear.cpkt', save_checkpoint_secs=5) as sess:
  sess.run(init)
  loss_list = []
  for epoch in range(training_epochs):
   sess.run(global_step)
   for (x, y) in zip(train_x, train_y):
    sess.run(optimizer, feed_dict={X: x, Y: y})

   if epoch % display_step == 0:
    loss = sess.run(cost, feed_dict={X: x, Y: y})
    loss_list.append(loss)
    print('Iter: ', epoch, ' Loss: ', loss)

   w_, b_ = sess.run([w, b], feed_dict={X: x, Y: y})
   sess.run(step)

  print(" Finished ")
  print("W: ", w_, " b: ", b_, " loss: ", loss)
  plt.plot(train_x, train_x * w_ + b_, 'g-', train_x, train_y, 'r.')
  plt.grid(True)
  plt.show()

 load_epoch = 10

 with tf.Session() as sess2:
  sess2.run(tf.global_variables_initializer())

  # saver.restore(sess2, savedir + 'linear.cpkt-' + str(load_epoch))

  # cpkt = tf.train.get_checkpoint_state(savedir)
  # if cpkt and cpkt.model_checkpoint_path:
  #  saver.restore(sess2, cpkt.model_checkpoint_path)
  #
  kpt = tf.train.latest_checkpoint(savedir + 'linear.cpkt')

  saver.restore(sess2, kpt)

  print(sess2.run([w, b], feed_dict={X: train_x, Y: train_y}))

上述的代码中，我们设置了没训练了5秒中之后，就保存一次检查点，它默认的保存时间间隔是10分钟，这种按照时间的保存模式更适合使用大型数据集训练复杂模型的情况，注意在使用上述的方法时，要定义global_step变量，在训练完一个批次或者一个样本之后，要将其进行加1的操作，否则将会报错。

以上这篇TensorFlow——Checkpoint为模型添加检查点的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python爬虫新手入门之初学lxml库
这篇文章主要给大家介绍了关于Python爬虫新手入门之初学lxml库的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-12-12
Python 正则表达式实现计算器功能
本篇文章主要介绍了Python 正则表达式实现计算器功能的示例。具有很好的参考价值。下面跟着小编一起来看下吧
2017-04-04
python通过文件头判断文件类型
这篇文章主要介绍了python通过文件头判断文件类型，需要的朋友可以参考下
2015-10-10
python 利用Pyinstaller打包Web项目
这篇文章主要介绍了python 利用Pyinstaller打包Web项目，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
2020-10-10
Python简单获取自身外网IP的方法
这篇文章主要介绍了Python简单获取自身外网IP的方法,涉及Python基于第三方平台获取本机外网IP的操作技巧,需要的朋友可以参考下
2016-09-09
Python Diagrams库以代码形式生成云系统架构图实例详解
这篇文章主要介绍了Python Diagrams库以代码形式生成云系统架构图实例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2024-01-01
如何利用python实现Simhash算法
这篇文章主要介绍了如何利用python实现Simhash算法，文章基于python的相关资料展开Simhash算法的详细介绍，具有一定的参考价值，感兴趣的小伙伴可以参考一下
2022-06-06
Python填充任意颜色,不同算法时间差异分析说明
这篇文章主要介绍了Python填充任意颜色,不同算法时间差异分析说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-05-05
介绍Python中几个常用的类方法
这篇文章主要介绍了介绍Python中几个常用的类方法,大都在自定义类的时候经常需要用到,这些是Python学习中的基本功,需要的朋友可以参考下
2015-04-04
使用Python实现有趣的锁屏小工具
这篇文章主要为大家详细介绍了如何使用Python实现有趣的锁屏小工具,这样再也不用担心因为没有锁屏被扣工资啦,打工人快跟随小编一起学习一下吧
2023-12-12