Pytorch如何加载自己的数据集(使用DataLoader读取Dataset)

 更新时间:2022年12月14日 14:25:41   作者:l8947943  
这篇文章主要介绍了Pytorch如何加载自己的数据集(使用DataLoader读取Dataset)问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

1.Pytorch加载数据集会用到官方整理好的数据集

很多时候我们需要加载自己的数据集,这时候我们需要使用Dataset和DataLoader

  • Dataset:是被封装进DataLoader里,实现该方法封装自己的数据和标签。
  • DataLoader:被封装入DataLoaderIter里,实现该方法达到数据的划分。

2.Dataset

阅读源码后,我们可以指导,继承该方法必须实现两个方法:

  • _getitem_()
  • _len_()

因此,在实现过程中我们测试如下:

import torch
import numpy as np

# 定义GetLoader类,继承Dataset方法,并重写__getitem__()和__len__()方法
class GetLoader(torch.utils.data.Dataset):
	# 初始化函数,得到数据
    def __init__(self, data_root, data_label):
        self.data = data_root
        self.label = data_label
    # index是根据batchsize划分数据后得到的索引,最后将data和对应的labels进行一起返回
    def __getitem__(self, index):
        data = self.data[index]
        labels = self.label[index]
        return data, labels
    # 该函数返回数据大小长度,目的是DataLoader方便划分,如果不知道大小,DataLoader会一脸懵逼
    def __len__(self):
        return len(self.data)

# 随机生成数据,大小为10 * 20列
source_data = np.random.rand(10, 20)
# 随机生成标签,大小为10 * 1列
source_label = np.random.randint(0,2,(10, 1))
# 通过GetLoader将数据进行加载,返回Dataset对象,包含data和labels
torch_data = GetLoader(source_data, source_label)

3.DataLoader

提供对Dataset的操作,操作如下:

torch.utils.data.DataLoader(dataset,batch_size,shuffle,drop_last,num_workers)

参数含义如下:

  • dataset:加载torch.utils.data.Dataset对象数据
  • batch_size:每个batch的大小
  • shuffle:是否对数据进行打乱
  • drop_last:是否对无法整除的最后一个datasize进行丢弃
  • num_workers:表示加载的时候子进程数

因此,在实现过程中我们测试如下(紧跟上述用例):

from torch.utils.data import DataLoader

# 读取数据
datas = DataLoader(torch_data, batch_size=6, shuffle=True, drop_last=False, num_workers=2)

此时,我们的数据已经加载完毕了,只需要在训练过程中使用即可。

4.查看数据

我们可以通过迭代器(enumerate)进行输出数据,测试如下:

for i, data in enumerate(datas):
	# i表示第几个batch, data表示该batch对应的数据,包含data和对应的labels
    print("第 {} 个Batch \n{}".format(i, data))

输出结果如下图:

结果说明:由于数据的是10个,batchsize大小为6,且drop_last=False,因此第一个大小为6,第二个为4。

每一个batch中包含data和对应的labels。

当我们想取出data和对应的labels时候,只需要用下表就可以啦,测试如下:

# 表示输出数据
print(data[0])
# 表示输出标签
print(data[1])

结果如图:

5.总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python turtle库(绘制螺旋正方形)

    Python turtle库(绘制螺旋正方形)

    这篇文章主要介绍了Python turtle库(绘制螺旋正方形),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-07-07
  • PyTorch中torch.tensor()和torch.to_tensor()的区别

    PyTorch中torch.tensor()和torch.to_tensor()的区别

    在Pytorch中Tensor和tensor都用于生成新的张量,但二者并不相同,下面这篇文章主要给大家介绍了关于PyTorch中torch.tensor()和torch.to_tensor()区别的相关资料,需要的朋友可以参考下
    2023-01-01
  • Python入门教程(十七)Python的While循环

    Python入门教程(十七)Python的While循环

    这篇文章主要介绍了Python入门教程(十七)Python的While循环,Python是一门非常强大好用的语言,也有着易上手的特性,本文为入门教程,需要的朋友可以参考下
    2023-04-04
  • 基于python解线性矩阵方程(numpy中的matrix类)

    基于python解线性矩阵方程(numpy中的matrix类)

    这篇文章主要介绍了基于python解线性矩阵方程(numpy中的matrix类),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-10-10
  • 在django中图片上传的格式校验及大小方法

    在django中图片上传的格式校验及大小方法

    今天小编就为大家分享一篇在django中图片上传的格式校验及大小方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • pandas中DataFrame数据合并连接(merge、join、concat)

    pandas中DataFrame数据合并连接(merge、join、concat)

    这篇文章主要给大家介绍了关于pandas中DataFrame 数据合并连接(merge、join、concat)的相关资料,文中介绍的非常详细,需要的朋友可以参考下
    2021-05-05
  • python算法练习之兔子产子(斐波那切数列)

    python算法练习之兔子产子(斐波那切数列)

    这篇文章主要给大家介绍python算法练习兔子产子,文章先进行问题描述及分析然后设计算法最后再得出完整程序,需要的朋友可以参考一下 文章得具体内容
    2021-10-10
  • python神经网络学习利用PyTorch进行回归运算

    python神经网络学习利用PyTorch进行回归运算

    这篇文章主要为大家介绍了python神经网络学习利用PyTorch进行回归运算的实现代码,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-05-05
  • Python 高级专用类方法的实例详解

    Python 高级专用类方法的实例详解

    这篇文章主要介绍了Python 高级专用类方法的实例详解的相关资料,希望通过本文大家能够掌握这部分内容,需要的朋友可以参考下
    2017-09-09
  • pytorch中交叉熵损失函数的使用小细节

    pytorch中交叉熵损失函数的使用小细节

    这篇文章主要介绍了pytorch中交叉熵损失函数的使用细节,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-02-02

最新评论