python torch.utils.data.DataLoader使用方法
更新时间：2020年04月02日 15:22:44 作者：今夜无风
这篇文章主要介绍了python torch.utils.data.DataLoader使用方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有点承上启下的作用，比较重要。
数据加载器，结合了数据集和取样器，并且可以提供多个线程处理数据集。
在训练模型时使用到此函数，用来把训练数据分成多个小组，此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。
生成迭代数据非常方便，请看如下示例：
"""
批训练，把数据变成一小批一小批数据进行训练。
DataLoader就是用来包装所使用的数据，每次抛出一批数据
"""
import torch
import torch.utils.data as Data
BATCH_SIZE = 5
x = torch.linspace(1, 10, 10)
y = torch.linspace(10, 1, 10)
# 把数据放在数据库中
torch_dataset = Data.TensorDataset(x, y)
loader = Data.DataLoader(
# 从数据库中每次抽出batch size个样本
dataset=torch_dataset,
batch_size=BATCH_SIZE,
shuffle=True,
num_workers=2,
)
def show_batch():
for epoch in range(3):
for step, (batch_x, batch_y) in enumerate(loader):
# training
print("steop:{}, batch_x:{}, batch_y:{}".format(step, batch_x, batch_y))
if __name__ == '__main__':
show_batch()
结果：
我们来看一下变量类型：
到此这篇关于python torch.utils.data.DataLoader使用方法的文章就介绍到这了,更多相关torch.utils.data.DataLoader内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要为大家详细介绍了基于Python实现随机生成8位密码的相关方法，文中的示例代码讲解详细，具有一定的借鉴价值，需要的可以参考一下2023-02-02
这篇文章主要介绍了python matplotlib拟合直线的实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
今天小编就为大家分享一篇关于Windows系统下PhantomJS的安装和基本用法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2018-10-10
Python标准模块中，有多个模块用于数据的压缩与解压缩，如zipfile，gzip, bz2等等。这篇文章主要给大家介绍了python如何利用模块zlib压缩与解压字符串和文件的方法，有需要的朋友们可以参考借鉴，下面来一起看看吧。2016-12-12
这篇文章主要为大家详细介绍了python实现zabbix发送短信脚本，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-09-09
这篇文章主要为大家详细介绍了Python中迭代器的实现原理，文中的示例代码讲解详细，对我们学习Python有一定的帮助，需要的可以参考一下2022-12-12
这篇文章主要为大家详细介绍了python实现图片上添加图片，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-11-11
在Python中,math 和 decimal 模块是处理数学运算的重要工具,本文将深入探讨这两个模块的基础知识,并通过实际的代码示例演示它们的用法,希望对大家有所帮助2024-02-02
Python的一大优势就是可以轻松制作Web爬虫,而超高人气的Scrapy则是名副其实的Python编写爬虫的利器,这里我们就来看一下Python的爬虫程序编写框架Scrapy入门学习教程:2016-07-07
这篇文章主要介绍了python操作微信自动发消息(微信聊天机器人)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-07-07
最新评论