脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → pytorch数据加载

pytorch 数据加载性能对比分析

 更新时间：2021年03月06日 09:09:54   作者：ShellCollector  
这篇文章主要介绍了pytorch 数据加载性能对比分析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

传统方式需要10s，dat方式需要0.6s

import os
import time
import torch
import random
from common.coco_dataset import COCODataset
def gen_data(batch_size,data_path,target_path):
 os.makedirs(target_path,exist_ok=True)
 dataloader = torch.utils.data.DataLoader(COCODataset(data_path,
               (352, 352),
               is_training=False, is_scene=True),
            batch_size=batch_size,
            shuffle=False, num_workers=0, pin_memory=False,
            drop_last=True) # DataLoader
 start = time.time()
 for step, samples in enumerate(dataloader):
  images, labels, image_paths = samples["image"], samples["label"], samples["img_path"]
  print("time", images.size(0), time.time() - start)
  start = time.time()
  # torch.save(samples,target_path+ '/' + str(step) + '.dat')
  print(step)
def cat_100(target_path,batch_size=100):
 paths = os.listdir(target_path)
 li = [i for i in range(len(paths))]
 random.shuffle(li)
 images = []
 labels = []
 image_paths = []
 start = time.time()
 for i in range(len(paths)):
  samples = torch.load(target_path + str(li[i]) + ".dat")
  image, label, image_path = samples["image"], samples["label"], samples["img_path"]
  images.append(image.cuda())
  labels.append(label.cuda())
  image_paths.append(image_path)
  if i % batch_size == batch_size - 1:
   images = torch.cat((images), 0)
   print("time", images.size(0), time.time() - start)
   images = []
   labels = []
   image_paths = []
   start = time.time()
  i += 1
if __name__ == '__main__':
 os.environ["CUDA_VISIBLE_DEVICES"] = '3'
 batch_size=320
 # target_path='d:/test_1000/'
 target_path='d:\img_2/'
 data_path = r'D:\dataset\origin_all_datas\_2train'
 gen_data(batch_size,data_path,target_path)
 # get_data(target_path,batch_size)
 # cat_100(target_path,batch_size)

这个读取数据也比较快：320 batch_size 450ms

def cat_100(target_path,batch_size=100):
 paths = os.listdir(target_path)
 li = [i for i in range(len(paths))]
 random.shuffle(li)
 images = []
 labels = []
 image_paths = []
 start = time.time()
 for i in range(len(paths)):
  samples = torch.load(target_path + str(li[i]) + ".dat")
  image, label, image_path = samples["image"], samples["label"], samples["img_path"]
  images.append(image)#.cuda())
  labels.append(label)#.cuda())
  image_paths.append(image_path)
  if i % batch_size < batch_size - 1:
   i += 1
   continue
  i += 1
  images = torch.cat(([image.cuda() for image in images]), 0)
  print("time", images.size(0), time.time() - start)
  images = []
  labels = []
  image_paths = []
  start = time.time()

补充：pytorch数据加载和处理问题解决方案

最近跟着pytorch中文文档学习遇到一些小问题，已经解决，在此对这些错误进行记录：

在读取数据集时报错：

AttributeError: 'Series' object has no attribute 'as_matrix'

在显示图片是时报错：

ValueError: Masked arrays must be 1-D

显示单张图片时figure一闪而过

在显示多张散点图的时候报错：

TypeError: show_landmarks() got an unexpected keyword argument 'image'

解决方案

主要问题在这一行： 最终目的是将Series转为Matrix，即调用np.mat即可完成。

修改前

landmarks =landmarks_frame.iloc[n, 1:].as_matrix()

修改后

landmarks =np.mat(landmarks_frame.iloc[n, 1:])

打散点的x和y坐标应该均为向量或列表，故将landmarks后使用tolist()方法即可

修改前

plt.scatter(landmarks[:,0],landmarks[:,1],s=10,marker='.',c='r')

修改后

plt.scatter(landmarks[:,0].tolist(),landmarks[:,1].tolist(),s=10,marker='.',c='r')

前面使用plt.ion()打开交互模式，则后面在plt.show()之前一定要加上plt.ioff()。这里直接加到函数里面，避免每次plt.show()之前都用plt.ioff()

修改前

def show_landmarks(imgs,landmarks):
 '''显示带有地标的图片'''
 plt.imshow(imgs)
 plt.scatter(landmarks[:,0].tolist(),landmarks[:,1].tolist(),s=10,marker='.',c='r')#打上红色散点
 plt.pause(1)#绘图窗口延时

修改后

def show_landmarks(imgs,landmarks):
 '''显示带有地标的图片'''
 plt.imshow(imgs)
 plt.scatter(landmarks[:,0].tolist(),landmarks[:,1].tolist(),s=10,marker='.',c='r')#打上红色散点
 plt.pause(1)#绘图窗口延时
 plt.ioff()

网上说对于字典类型的sample可通过 **sample的方式获取每个键下的值，但是会报错，于是把输入写的详细一点，就成功了。

修改前

show_landmarks(**sample)

修改后

show_landmarks(sample['image'],sample['landmarks'])

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

相关文章

  • 详解Pytorch+PyG实现GCN过程示例

    详解Pytorch+PyG实现GCN过程示例

    这篇文章主要为大家介绍了Pytorch+PyG实现GCN过程示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-04-04
  • python format格式化和数字格式化

    python format格式化和数字格式化

    这篇文章主要介绍了python format格式化和数字格式化，格式化字符串的函数 str.format()，它增强了字符串格式化的功能，基本语法是通过{} 和 : 来代替以前的 % ，下面内容介绍,需要的朋友可以参考一下
    2022-02-02
  • Python上下文管理器Content Manager

    Python上下文管理器Content Manager

    在Python中，我们会经常听到上下文管理器，那么上下文管理器到底是干什么的，本文就来介绍一下，感兴趣的小伙伴们可以参考一下
    2021-06-06
  • python数据解析BeautifulSoup爬取三国演义章节示例

    python数据解析BeautifulSoup爬取三国演义章节示例

    这篇文章主要介绍了python数据解析BeautifulSoup爬取三国演义章节示例，文中附含详细示例代码，有需要的朋友可以借鉴参考下，希望能够有所帮助
    2021-09-09
  • 简单了解Python下用于监视文件系统的pyinotify包

    简单了解Python下用于监视文件系统的pyinotify包

    这篇文章主要介绍了Python下用于监视文件系统的pyinotify包,pyinotify基于inotify事件驱动机制,需要的朋友可以参考下
    2015-11-11
  • python3.6实现学生信息管理系统

    python3.6实现学生信息管理系统

    这篇文章主要为大家详细介绍了python3.6实现学生信息管理系统，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2019-02-02
  • Python 图片转数组,二进制互转操作

    Python 图片转数组,二进制互转操作

    这篇文章主要介绍了Python 图片转数组,二进制互转操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-03-03
  • python如何实现最小矩形覆盖问题

    python如何实现最小矩形覆盖问题

    这篇文章主要介绍了python如何实现最小矩形覆盖问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • python数据库PooledDB连接池初始化使用示例

    python数据库PooledDB连接池初始化使用示例

    这篇文章主要为大家介绍了python数据库PooledDB连接池初始化使用示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-08-08
  • 使用GPT-3训练垃圾短信分类器示例详解

    使用GPT-3训练垃圾短信分类器示例详解

    这篇文章主要为大家介绍了使用GPT-3训练垃圾短信分类器示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-02-02

最新评论