Pytorch dataloader在加载最后一个batch时卡死的解决
更新时间：2021年05月28日 10:15:47 作者：Wilber529
这篇文章主要介绍了Pytorch dataloader在加载最后一个batch时卡死的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
问题：
自己写了个dataloader，为了部署方便，用OpenCV的接口进行数据读取，而没有用PIL，代码大致如下：
def __getitem__(self, idx):
sample = self.samples[idx]
img = cv2.imread(sample[0])
img = cv2.resize(img, tuple(self.input_size))
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
# if not self.val and random.randint(1, 10) < 3:
# img = self.img_aug(img)
img = Image.fromarray(img)
img = self.transforms(img)
...
结果在训练过程中，在第1个epoch的最后一个batch时，程序卡死。
解决方案：
可能是因为OpenCV与Pytorch互锁的问题，关闭OpenCV的多线程，问题解决。
cv2.setNumThreads(0) cv2.ocl.setUseOpenCL(False)
补充：pytorch 中一个batch的训练过程
# 一般情况下 optimizer.zero_grad() # 梯度清零 preds = model(inputs) # inference，前向传播求出预测值 loss = criterion(preds, targets) # 计算loss loss.backward() # 反向传播求解梯度 optimizer.step() # 更新权重，更新网络权重参数
此外，反向传播前，如果不进行梯度清零，则可以实现梯度累加，从而一定程度上解决显存受限的问题。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了解决jupyter加载文件失败的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要为大家详细介绍了Python面向对象编程之封装的艺术，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2022-02-02
这篇文章主要介绍了Python list append方法如何给列表追加元素，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
虽然Hexo的命令行工具非常强大,但对于日常的博客撰写和发布过程,我总觉得缺少一个直观的图形界面来简化操作,下面我们就来看看如何使用Python构建一个Hexo博客发布工具吧2025-04-04
今天小编就为大家分享一篇对Python w和w+权限的区别详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要为大家详细介绍了python读取图片并修改格式与大小的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-07-07
这篇文章主要为大家详细介绍了python如何操作excel让工作自动化，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-08-08
Python字符串的字符转换、字符串劈分、字符串合并问题分析
这篇文章主要介绍了Python字符串的字符转换、字符串劈分、字符串合并,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-03-03
这篇文章主要介绍了keras建模的3种方式详解,keras是Google公司于2016年发布的以tensorflow为后端的用于深度学习网络训练的高阶API,因接口设计非常人性化,深受程序员的喜爱,需要的朋友可以参考下2023-08-08
文章介绍了Python中dataclass的实现原理,通过自定义装饰器实现了__init__和__repr__方法,并解释了__annotations__属性和exec函数在其中的作用,感兴趣的朋友跟随小编一起看看吧2025-01-01
最新评论