Python 训练营打卡 Day 38-Dataset和Dataloader类

在遇到大规模数据集时，显存常常无法一次性存储所有数据，所以需要使用分批训练的方法。为此，PyTorch提供了DataLoader类，该类可以自动将数据集切分为多个批次batch，并支持多线程加载数据。此外，还存在Dataset类，该类可以定义数据集的读取方式和预处理方式

• DataLoader类：决定数据如何加载
• Dataset类告诉程序去哪里找数据，如何读取单个样本，以及如何预处理

MNIST手写数字数据集

这里我们引入一个经典的数据集：MNIST手写数字数据集，该数据集包含60000张训练图片和10000张测试图片，每张图片大小为28*28像素，共包含10个类别。因为每个数据的维度比较小，所以既可以视为结构化数据，用机器学习、MLP训练，也可以视为图像数据，用卷积神经网络训练
 

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader , Dataset # DataLoader 是 PyTorch 中用于加载数据的工具
from torchvision import datasets, transforms # torchvision 是一个用于计算机视觉的库，datasets 和 transforms 是其中的模块
import matplotlib.pyplot as plt# 设置随机种子，确保结果可复现
torch.manual_seed(42)

torchvision

• datasets       # 视觉数据集（如 MNIST、CIFAR）
• transforms     # 视觉数据预处理（如裁剪、翻转、归一化）
• models         # 预训练模型（如 ResNet、YOLO）
• utils          # 视觉工具函数（如目标检测后处理）
• io             # 图像/视频 IO 操作

# 1. 数据预处理，该写法非常类似于管道pipeline
# transforms 模块提供了一系列常用的图像预处理操作# 先归一化，再标准化
transform = transforms.Compose([transforms.ToTensor(),  # 转换为张量并归一化到[0,1]transforms.Normalize((0.1307,), (0.3081,))  # MNIST数据集的均值和标准差，这个值很出名，所以直接使用
])# 2. 加载MNIST数据集，如果没有会自动下载
train_dataset = datasets.MNIST(root='./data',train=True,download=True,transform=transform
)test_dataset = datasets.MNIST(root='./data',train=False,transform=transform
)

一.Dataset类

import matplotlib.pyplot as plt# 随机选择一张图片，可以重复运行，每次都会随机选择
sample_idx = torch.randint(0, len(train_dataset), size=(1,)).item() # 随机选择一张图片的索引
# len(train_dataset) 表示训练集的图片数量；size=(1,)表示返回一个索引；torch.randint() 函数用于生成一个指定范围内的随机数,item() 方法将张量转换为 Python 数字
image, label = train_dataset[sample_idx] # 获取图片和标签

train_dataset[sample_idx]可以获取到图片和标签，是因为datasets.MNIST这个类继承了torch.utils.data.Dataset类，这个类中有一个方法__getitem__，这个方法会返回一个tuple，tuple中第一个元素是图片，第二个元素是标签

PyTorch 的torch.utils.data.Dataset是一个抽象基类，所有自定义数据集都需要继承它并实现两个核心方法：

• len__()：返回数据集的样本总数
• getitem__(idx)：根据索引idx返回对应样本的数据和标签

PyTorch 要求所有数据集必须实现__getitem__和__len__，这样才能被DataLoader等工具兼容。这是一种接口约定，类似函数参数的规范。这意味着，如果你要创建一个自定义数据集，你需要实现这两个方法，否则PyTorch将无法识别你的数据集

 __getitem__方法

__getitem__方法用于让对象支持索引操作，当使用[]语法访问对象元素时，Python 会自动调用该方法

# 示例代码
class MyList:def __init__(self):self.data = [10, 20, 30, 40, 50]def __getitem__(self, idx):return self.data[idx]# 创建类的实例
my_list_obj = MyList()
# 此时可以使用索引访问元素，这会自动调用__getitem__方法
print(my_list_obj[2])  # 输出：30

 __len__方法

__len__方法用于返回对象中元素的数量，当使用内置函数len()作用于对象时，Python 会自动调用该方法

class MyList:def __init__(self):self.data = [10, 20, 30, 40, 50]def __len__(self):return len(self.data)# 创建类的实例
my_list_obj = MyList()
# 使用len()函数获取元素数量，这会自动调用__len__方法
print(len(my_list_obj))  # 输出：5

二.Dataloader类

# 3. 创建数据加载器
train_loader = DataLoader(train_dataset,batch_size=64, # 每个批次64张图片,一般是2的幂次方，这与GPU的计算效率有关shuffle=True # 随机打乱数据
)test_loader = DataLoader(test_dataset,batch_size=1000 # 每个批次1000张图片# shuffle=False # 测试时不需要打乱数据
)

总结

import torch
import torchvision
import torchvision.transforms as transforms
import matplotlib.pyplot as plt
import numpy as np# 定义数据预处理
transform = transforms.Compose([transforms.ToTensor(), # 将图像转换为张量并自动归一化到[0,1]transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) # 标准化到[-1,1]范围
])# 下载并加载CIFAR10训练集
trainset = torchvision.datasets.CIFAR10(root='./data', train=True,download=True, transform=transform
)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,shuffle=True, num_workers=2
)# 获取一个batch的数据
dataiter = iter(trainloader)
images, labels = next(dataiter)# 显示第一张图片
def imshow(img):img = img / 2 + 0.5  # 反归一化，将[-1,1]范围转换回[0,1]范围用于显示npimg = img.numpy()plt.imshow(np.transpose(npimg, (1, 2, 0)))plt.show()# 显示图片和标签
imshow(torchvision.utils.make_grid(images[0]))
print('Label:', trainset.classes[labels[0]])