TensorFlow手动加载数据集(以mnist为例)

在进行Mnist手写识别的项目中,出现了Mnist数据集下载出错的问题,报出以下错误:

Exception: URL fetch failure on https://s3.amazonaws.com/img-datasets/mnist.npz: None -- [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。

MNIST数据集包含四个gz文件。这些文件分别包含训练集图像、训练集标签、测试集图像和测试集标签。

你可以从官方网站下载这些文件。以下是MNIST数据集的官方网站链接:http://yann.lecun.com/exdb/mnist/

在该网站上,你可以找到以下四个文件:

  • train-images-idx3-ubyte.gz:训练集图像
  • train-labels-idx1-ubyte.gz:训练集标签
  • t10k-images-idx3-ubyte.gz:测试集图像
  • t10k-labels-idx1-ubyte.gz:测试集标签
    你可以下载这些文件,并将它们保存在本地路径中。然后,你可以使用适当的库(如gzip和numpy)来解压和加载这些文件,以获取MNIST数据集的特征和标签。

以下是一个示例代码,演示如何加载MNIST数据集的图像和标签:

python 复制代码
import gzip
import numpy as np

def load_mnist_images(path):
    with gzip.open(path, 'rb') as f:
        # 跳过文件头
        f.read(16)
        # 读取图像数据
        buf = f.read()
        # 将字节数据转换为numpy数组
        data = np.frombuffer(buf, dtype=np.uint8)
        # 重新整形为图像数组
        data = data.reshape(-1, 28, 28)
        return data

def load_mnist_labels(path):
    with gzip.open(path, 'rb') as f:
        # 跳过文件头
        f.read(8)
        # 读取标签数据
        buf = f.read()
        # 将字节数据转换为numpy数组
        labels = np.frombuffer(buf, dtype=np.uint8)
        return labels

# 指定文件路径
train_images_path = 'path_to_train-images-idx3-ubyte.gz'
train_labels_path = 'path_to_train-labels-idx1-ubyte.gz'
test_images_path = 'path_to_t10k-images-idx3-ubyte.gz'
test_labels_path = 'path_to_t10k-labels-idx1-ubyte.gz'

# 加载训练集图像和标签
train_images = load_mnist_images(train_images_path)
train_labels = load_mnist_labels(train_labels_path)

# 加载测试集图像和标签
test_images = load_mnist_images(test_images_path)
test_labels = load_mnist_labels(test_labels_path)

# 打印数据集信息
print("训练集样本数量:", train_images.shape[0])
print("测试集样本数量:", test_images.shape[0])
print("输入特征形状:", train_images[0].shape)
print("标签形状:", train_labels.shape)

# 进行模型训练和评估的代码可以继续编写...
相关推荐
寻星探路1 分钟前
【深度长文】万字攻克网络原理:从 HTTP 报文解构到 HTTPS 终极加密逻辑
java·开发语言·网络·python·http·ai·https
Codebee2 小时前
能力中心 (Agent SkillCenter):开启AI技能管理新时代
人工智能
聆风吟º2 小时前
CANN runtime 全链路拆解:AI 异构计算运行时的任务管理与功能适配技术路径
人工智能·深度学习·神经网络·cann
uesowys2 小时前
Apache Spark算法开发指导-One-vs-Rest classifier
人工智能·算法·spark
AI_56782 小时前
AWS EC2新手入门:6步带你从零启动实例
大数据·数据库·人工智能·机器学习·aws
User_芊芊君子2 小时前
CANN大模型推理加速引擎ascend-transformer-boost深度解析:毫秒级响应的Transformer优化方案
人工智能·深度学习·transformer
ValhallaCoder3 小时前
hot100-二叉树I
数据结构·python·算法·二叉树
智驱力人工智能3 小时前
小区高空抛物AI实时预警方案 筑牢社区头顶安全的实践 高空抛物检测 高空抛物监控安装教程 高空抛物误报率优化方案 高空抛物监控案例分享
人工智能·深度学习·opencv·算法·安全·yolo·边缘计算
qq_160144873 小时前
亲测!2026年零基础学AI的入门干货,新手照做就能上手
人工智能
Howie Zphile3 小时前
全面预算管理难以落地的核心真相:“完美模型幻觉”的认知误区
人工智能·全面预算