Pytorch DataLoader 变长数据处理方式
更新时间：2020年01月08日 09:33:00 作者：HappyCtest
今天小编就为大家分享一篇Pytorch DataLoader 变长数据处理方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
关于Pytorch中怎么自定义Dataset数据集类、怎样使用DataLoader迭代加载数据，这篇官方文档已经说得很清楚了，这里就不在赘述。
现在的问题：有的时候，特别对于NLP任务来说，输入的数据可能不是定长的，比如多个句子的长度一般不会一致，这时候使用DataLoader加载数据时，不定长的句子会被胡乱切分，这肯定是不行的。
解决方法是重写DataLoader的collate_fn，具体方法如下：
# 假如每一个样本为：
sample = {
# 一个句子中各个词的id
'token_list' : [5, 2, 4, 1, 9, 8],
# 结果y
'label' : 5,
}
# 重写collate_fn函数，其输入为一个batch的sample数据
def collate_fn(batch):
# 因为token_list是一个变长的数据，所以需要用一个list来装这个batch的token_list
token_lists = [item['token_list'] for item in batch]
# 每个label是一个int，我们把这个batch中的label也全取出来，重新组装
labels = [item['label'] for item in batch]
# 把labels转换成Tensor
labels = torch.Tensor(labels)
return {
'token_list': token_lists,
'label': labels,
}
# 在使用DataLoader加载数据时，注意collate_fn参数传入的是重写的函数
DataLoader(trainset, batch_size=4, shuffle=True, num_workers=4, collate_fn=collate_fn)
使用以上方法，可以保证DataLoader能Load出一个batch的数据，load出来的东西就是重写的collate_fn函数最后return出来的字典。
以上这篇Pytorch DataLoader 变长数据处理方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python多线程http下载实现示例,大家参考使用吧2013-12-12
这篇文章主要介绍了python中的bool数组取反案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
今天小编就为大家分享一篇Python二维数组实现求出3*3矩阵对角线元素的和示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
这篇文章主要介绍了Python制作当年第一款手机游戏-贪吃蛇游戏，文章利用Python pygame做一个贪吃蛇的小游戏而且讲清楚每一段代码是用来干嘛的,需要的朋友可以参考一下2022-01-01
PyTorch是一个基于Python的科学计算框架,用于进行深度学习相关研究,下面这篇文章主要给大家介绍了关于安装PyTorch的详细过程,文中通过图文介绍的非常详细,需要的朋友可以参考下2022-03-03
在本篇文章里小编给大家分享的是关于python3中sys.argv的实例用法内容，需要的朋友们可以学习下。2020-04-04
过年期间发现小外甥已经上小学了，我姐说老师今天给他们布置了寒假作业：每天坚持做乘法和加减法混合运算。这我必须帮帮忙，用Python写了一段自动生成小学生计算题的代码，希望外甥不要太感谢我2023-02-02
字典作为Python的一个内置数据结构，和列表一样都是可变序列的，但是它是无序的，以键值对的方式存储数据。本文将详解一下Python中字典的使用，需要的可以参考一下2022-07-07
今天小编就为大家分享一篇Python不使用int()函数把字符串转换为数字的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了python2.7 安装pip的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-05-05
最新评论