最近搞了搞minist手写数据集的神经网络搭建，一个数据集里面很多个数据，不能一次喂入，所以需要分成一小块一小块喂入搭建好的网络。
pytorch中有很方便的dataloader函数来方便我们进行批处理，做了简单的例子，过程很简单，就像把大象装进冰箱里一共需要几步？
第一步：打开冰箱门。
我们要创建torch能够识别的数据集类型（pytorch中也有很多现成的数据集类型，以后再说）。
首先我们建立两个向量X和Y，一个作为输入的数据，一个作为正确的结果：
随后我们需要把X和Y组成一个完整的数据集，并转化为pytorch能识别的数据集类型：
我们来看一下这些数据的数据类型：
可以看出我们把X和Y通过Data.TensorDataset() 这个函数拼装成了一个数据集，数据集的类型是【TensorDataset】。
好了，第一步结束了，冰箱门打开了。
第二步：把大象装进去。
就是把上一步做成的数据集放入Data.DataLoader中，可以生成一个迭代器，从而我们可以方便的进行批处理。
DataLoader中也有很多其他参数：
- dataset：Dataset类型，从其中加载数据
- batch_size：int，可选。每个batch加载多少样本
- shuffle：bool，可选。为True时表示每个epoch都对数据进行洗牌
- sampler：Sampler，可选。从数据集中采样样本的方法。
- num_workers：int，可选。加载数据时使用多少子进程。默认值为0，表示在主进程中加载数据。
- collate_fn：callable，可选。
- pin_memory：bool，可选
- drop_last：bool，可选。True表示如果最后剩下不完全的batch,丢弃。False表示不丢弃。
好了，第二步结束了，大象装进去了。
第三步：把冰箱门关上。
好啦，现在我们就可以愉快的用我们上面定义好的迭代器进行训练啦。
在这里我们利用print来模拟我们的训练过程，即我们在这里对搭建好的网络进行喂入。
输出的结果是：
可以看到，我们一共训练了所有的数据训练了5次。数据中一共10组，我们设置的mini-batch是3，即每一次我们训练网络的时候喂入3组数据，到了最后一次我们只有1组数据了，比mini-batch小，我们就仅输出这一个。
此外，还可以利用python中的enumerate()，是对所有可以迭代的数据类型（含有很多东西的list等等）进行取操作的函数，用法如下：
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
更新日志
- 柏菲·珞叔作品集《金色大厅2》限量开盘母带ORMCD[低速原抓WAV+CUE]
- Gareth.T《sad songs(Explicit)》[320K/MP3][29.03MB]
- Gareth.T《sad songs(Explicit)》[FLAC/分轨][152.85MB]
- 证声音乐图书馆《海风摇曳·盛夏爵士曲》[320K/MP3][63.06MB]
- 龚玥《金装龚玥HQCD》头版限量[WAV分轨]
- 李小春《吻别》萨克斯演奏经典[原抓WAV+CUE]
- 齐秦《辉煌30年24K珍藏版》2CD[WAV+CUE]
- 证声音乐图书馆《海风摇曳·盛夏爵士曲》[FLAC/分轨][321.47MB]
- 群星 《世界经典汽车音乐》 [WAV分轨][1G]
- 冷漠.2011 《冷漠的爱DSD》[WAV+CUE][1.2G]
- 陈明《流金岁月精逊【中唱】【WAV+CUE】
- 群星《Jazz-Ladies1-2爵士女伶1-2》HQCD/2CD[原抓WAV+CUE]
- 群星《美女私房歌》（黑胶）[WAV分轨]
- 郑源.2009《试音天碟》24BIT-96KHZ[WAV+CUE][1.2G]
- 飞利浦试音碟 《环球群星监听录》SACD香港版[WAV+CUE][1.1G]