脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → tensorflow dataset.shuffle、dataset.batch、dataset.repeat

tensorflow dataset.shuffle、dataset.batch、dataset.repeat顺序区别详解

 更新时间：2020年06月03日 11:27:10   作者：青盏  
这篇文章主要介绍了tensorflow dataset.shuffle、dataset.batch、dataset.repeat顺序区别详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

1.作用

  • dataset.shuffle作用是将数据进行打乱操作，传入参数为buffer_size，改参数为设置“打乱缓存区大小”，也就是说程序会维持一个buffer_size大小的缓存，每次都会随机在这个缓存区抽取一定数量的数据
  • dataset.batch作用是将数据打包成batch_size
  • dataset.repeat作用就是将数据重复使用多少epoch

2.各种不同顺序的区别

示例代码（以下面代码作为说明）：

# -*- coding: utf-8 -*-
import tensorflow as tf
import numpy as np
 
dataset = tf.data.Dataset.from_tensor_slices(np.arange(20).reshape((4, 5)))
 
dataset = dataset.shuffle(100)
dataset = dataset.batch(3)
dataset = dataset.repeat(2)
 
sess = tf.Session()
 
iterator = dataset.make_one_shot_iterator()
input_x = iterator.get_next()
 
print(sess.run(input_x))
print(sess.run(input_x))
print(sess.run(input_x))
print(sess.run(input_x))

1.顺序1（训练过程最常用的顺序）

先看结果：

解释：相当于把所有数据先打乱，然后打包成batch输出，整体数据重复2个epoch

特点：1.一个batch中的数据不会重复；2.每个epoch的最后一个batch的尺寸小于等于batch_size

2.顺序2

先看结果：

解释：相当于把所有数据先打乱，再把所有数据重复两个epoch，然后将重复两个epoch的数据放在一起，最后打包成batch_size输出

特点：1.因为把数据复制两份，还进行打乱，因此某个batch数据可能会重复，而且出现重复数据的batch只会是两个batch交叉的位置；2.最后一个batch的尺寸小于等于batch_size

3.顺序3

先看结果：

解释：相当于把所有数据先打包成batch，然后把打包成batch的数据重复两遍，最后再将所有batch打乱进行输出

特点：1.打乱的是batch；2.某些batch的尺寸小于等于batch_size，因为是对batch进行打乱，所以这些batch不一定是最后一个

3.其他组合方式

根据上面几种顺序，大家可以自己分析其他顺序的输出结果

到此这篇关于tensorflow dataset.shuffle、dataset.batch、dataset.repeat顺序区别详解的文章就介绍到这了,更多相关tensorflow dataset.shuffle、dataset.batch、dataset.repeat内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • python自动化测试中APScheduler Flask的应用示例

    python自动化测试中APScheduler Flask的应用示例

    这篇文章主要为大家介绍了python自动化测试中APScheduler Flask的应用示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-07-07
  • Python基础文件操作方法超详细讲解(详解版)

    Python基础文件操作方法超详细讲解(详解版)

    文件就是操作系统为用户或应用程序提供的一个读写硬盘的虚拟单位,文件的核心操作就是读和写,这篇文章主要介绍了Python基础文件操作方法超详细讲解的相关资料,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2025-04-04
  • Python 中 yeild 的用法详解

    Python 中 yeild 的用法详解

    yield 是 Python 中的关键字，用于生成器函数中，可以将函数变成一个迭代器，实现惰性计算，节省内存空间。本文将介绍 yield 的基本用法和实现原理，以及与 yield 相关的注意事项和常见问题。
    2023-06-06
  • python 默认参数问题的陷阱

    python 默认参数问题的陷阱

    本文给大家讲述的是python 默认参数问题的陷阱，有需要的小伙伴可以参考下
    2016-02-02
  • 浅析Python中的元编程

    浅析Python中的元编程

    Python元编程是指在运行时对Python代码进行操作的技术，它可以动态地生成、修改和执行代码，从而实现一些高级的编程技巧，本文就来和大家详细聊聊吧
    2023-03-03
  • Python实现ping指定IP的示例

    Python实现ping指定IP的示例

    今天小编就为大家分享一篇Python实现ping指定IP的示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2018-06-06
  • python 并发下载器实现方法示例

    python 并发下载器实现方法示例

    这篇文章主要介绍了python 并发下载器实现方法,结合实例形式详细分析了并发下载器相关原理及Python并发下载视频的相关操作技巧,需要的朋友可以参考下
    2019-11-11
  • Python构建图像分类识别器的方法

    Python构建图像分类识别器的方法

    今天小编就为大家分享一篇Python构建图像分类识别器的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • 解决Tensorflow 使用时cpu编译不支持警告的问题

    解决Tensorflow 使用时cpu编译不支持警告的问题

    今天小编就为大家分享一篇解决Tensorflow 使用时cpu编译不支持警告的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • Python使用ffmpy将amr格式的音频转化为mp3格式的例子

    Python使用ffmpy将amr格式的音频转化为mp3格式的例子

    今天小编就为大家分享一篇Python使用ffmpy将amr格式的音频转化为mp3格式的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08

最新评论