tensorflow tf.train.batch之数据批量读取方式

 更新时间:2020年01月20日 10:00:22   作者:Webbley  
今天小编就为大家分享一篇tensorflow tf.train.batch之数据批量读取方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

在进行大量数据训练神经网络的时候,可能需要批量读取数据。于是参考了这篇文章的代码,结果发现数据一直批量循环输出,不会在数据的末尾自动停止。

然后发现这篇博文说slice_input_producer()这个函数有一个形参num_epochs,通过设置它的值就可以控制全部数据循环输出几次。

于是我设置之后出现以下的报错:

tensorflow.python.framework.errors_impl.FailedPreconditionError: Attempting to use uninitialized value input_producer/input_producer/limit_epochs/epochs

     [[Node: input_producer/input_producer/limit_epochs/CountUpTo = CountUpTo[T=DT_INT64, _class=["loc:@input_producer/input_producer/limit_epochs/epochs"], limit=2, _device="/job:localhost/replica:0/task:0/cpu:0"](input_producer/input_producer/limit_epochs/epochs)]]

找了好久,都不知道为什么会错,于是只好去看看slice_input_producer()函数的源码,结果在源码中发现作者说这个num_epochs如果不是空的话,就是一个局部变量,需要先调用global_variables_initializer()函数初始化。

于是我调用了之后,一切就正常了,特此记录下来,希望其他人遇到的时候能够及时找到原因。

哈哈,这是笔者第一次通过阅读源码解决了问题,心情还是有点小激动。啊啊,扯远了,上最终成功的代码:

import pandas as pd
import numpy as np
import tensorflow as tf


def generate_data():
  num = 25
  label = np.asarray(range(0, num))
  images = np.random.random([num, 5])
  print('label size :{}, image size {}'.format(label.shape, images.shape))
  return images,label

def get_batch_data():
  label, images = generate_data()
  input_queue = tf.train.slice_input_producer([images, label], shuffle=False,num_epochs=2)
  image_batch, label_batch = tf.train.batch(input_queue, batch_size=5, num_threads=1, capacity=64,allow_smaller_final_batch=False)
  return image_batch,label_batch


images,label = get_batch_data()
sess = tf.Session()
sess.run(tf.global_variables_initializer())
sess.run(tf.local_variables_initializer())#就是这一行
coord = tf.train.Coordinator()
threads = tf.train.start_queue_runners(sess,coord)
try:
  while not coord.should_stop():
    i,l = sess.run([images,label])
    print(i)
    print(l)
except tf.errors.OutOfRangeError:
  print('Done training')
finally:
  coord.request_stop()
coord.join(threads)
sess.close()

以上这篇tensorflow tf.train.batch之数据批量读取方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python报错:OSError: [Errno 22] Invalid argument解决方案及应用实例

    Python报错:OSError: [Errno 22] Invalid argument解决方案及应用实例

    最近跑别人的项目遇到一个这样的问题一开始以为是没有用管理员的权限运行,导致创建不了日志文件后来发现是和windows的命名规则冲突了,这篇文章主要给大家介绍了关于Python报错:OSError: [Errno 22] Invalid argument的解决方案及应用实例,需要的朋友可以参考下
    2024-07-07
  • tensorflow 1.X迁移至tensorflow2 的代码写法

    tensorflow 1.X迁移至tensorflow2 的代码写法

    本文主要介绍了tensorflow 1.X迁移至tensorflow2 的代码写法,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-12-12
  • 基于Python编写简易的成语接龙游戏

    基于Python编写简易的成语接龙游戏

    成语接龙是中华民族传统的文字游戏。它历史悠久,是传统文字、文化、文明的一个缩影,也是老少皆宜的民间文化娱乐活动。本文将用Python制作一个简单的成语接龙游戏,需要的可以参考一下
    2022-03-03
  • 详解Python3中ceil()函数用法

    详解Python3中ceil()函数用法

    在本篇内容里我们给大家整理了关于Python3中ceil()函数用法以及相关知识点,需要的学习一下吧。
    2019-02-02
  • 在Python 中实现图片加框和加字的方法

    在Python 中实现图片加框和加字的方法

    今天小编就为大家分享一篇在Python 中实现图片加框和加字的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • python mysql中in参数化说明

    python mysql中in参数化说明

    这篇文章主要介绍了python mysql中in参数化说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Python学习之不同数据类型间的转换总结

    Python学习之不同数据类型间的转换总结

    类型转换,就是将自身的数据类型变成新的数据类型,并拥有新的数据类型的所有功能的过程。本文将详细为大家介绍如何在Python中实现不同数据类型的转换,感兴趣的可以了解一下
    2022-03-03
  • Python中np.argmax()函数用法示例

    Python中np.argmax()函数用法示例

    np.argmax是用于取得数组中每一行或者每一列的的最大值,常用于机器学习中获取分类结果、计算精确度等,下面这篇文章主要给大家介绍了关于Python中np.argmax()函数用法的相关资料,需要的朋友可以参考下
    2022-12-12
  • 如何使用Python 抓取和优化所有网站图像

    如何使用Python 抓取和优化所有网站图像

    我发布了一个通过FTP自动优化新图像的教程。这次我们将抓取整个网站,并在本地优化我们遇到的图像,按URL组织,怎么来操作呢,下面跟随小编一起学习使用Python 抓取和优化所有网站图像的方法,感兴趣的朋友一起看看吧
    2023-02-02
  • 如何利用pycharm进行代码更新比较

    如何利用pycharm进行代码更新比较

    这篇文章主要介绍了如何利用pycharm进行代码更新比较,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11

最新评论