机器学习实操 第二部分 神经网路和深度学习 第13章 使用TensorFlow加载和预处理数据

机器学习实操 第二部分 神经网路和深度学习 第13章 使用TensorFlow加载和预处理数据

内容概要

第13章深入探讨了如何使用TensorFlow加载和预处理数据。本章首先介绍了tf.data API,它能够高效地加载和预处理大规模数据集,支持并行文件读取、数据打乱、批量处理等功能。接着,讨论了TFRecord格式,这是一种高效的二进制存储格式,适合存储大量数据。此外,还介绍了Keras预处理层,这些层可以直接嵌入到模型中,实现在训练和推理过程中对数据的自动预处理。最后,探讨了TensorFlow Datasets(TFDS)和TensorFlow Hub等工具,它们提供了便捷的数据加载和预处理功能。

主要内容

  1. tf.data API

    • 核心概念tf.data.Dataset表示数据项的序列,支持从多种数据源加载数据。
    • 数据转换 :通过map()filter()batch()shuffle()等方法对数据集进行转换。
    • 高效加载:支持多线程和排队机制,可在训练过程中并行加载和预处理数据。
  2. TFRecord格式

    • 简介:TFRecord是TensorFlow的首选数据存储格式,支持高效读取和存储大量数据。
    • 读写操作 :使用tf.io.TFRecordWriter写入数据,使用tf.data.TFRecordDataset读取数据。
    • 协议缓冲区(Protocol Buffers):TFRecord文件通常包含序列化的协议缓冲区,支持灵活和高效的数据表示。
  3. Keras预处理层

    • 归一化层:用于标准化数值特征,可在模型内部直接进行数据归一化。
    • 分类特征编码 :包括StringLookupHashingEmbedding等层,用于处理分类文本特征和嵌入表示。
    • 文本预处理TextVectorization层支持文本向量化,适用于自然语言处理任务。
    • 图像预处理 :提供ResizingRescalingCenterCrop等层,用于图像大小调整、像素值缩放和中心裁剪。
  4. 数据加载工具

    • TensorFlow Datasets (TFDS):简化常见数据集的加载过程,支持多种数据集类型,可自动下载和预处理数据。
    • TensorFlow Hub:提供预训练模型组件,便于在项目中复用强大的预训练模型。

关键代码和算法

13.1 使用tf.data API创建数据集
python 复制代码
import tensorflow as tf

# 创建数据集
X = tf.range(10)
dataset = tf.data.Dataset.from_tensor_slices(X)

# 数据转换
dataset = dataset.repeat(3).batch(7)

# 使用map()进行预处理
dataset = dataset.map(lambda x: x * 2)

# 数据打乱和批量处理
dataset = dataset.shuffle(buffer_size=4).batch(32).prefetch(1)

13.2 创建TFRecord文件并读取

python 复制代码
# 写入TFRecord文件
with tf.io.TFRecordWriter("my_data.tfrecord") as f:
    f.write(b"This is the first record")
    f.write(b"And this is the second record")

# 读取TFRecord文件
dataset = tf.data.TFRecordDataset(["my_data.tfrecord"])
for item in dataset:
    print(item)

13.3 使用Keras预处理层

python 复制代码
# 归一化层
norm_layer = tf.keras.layers.Normalization()
norm_layer.adapt(X_train)
model = tf.keras.models.Sequential([norm_layer, tf.keras.layers.Dense(1)])

# 分类特征编码
str_lookup_layer = tf.keras.layers.StringLookup()
str_lookup_layer.adapt(cities)
cat_embeddings = tf.keras.layers.Embedding(input_dim=str_lookup_layer.vocabulary_size(), output_dim=2)
lookup_and_embed = tf.keras.Sequential([str_lookup_layer, cat_embeddings])

# 文本向量化
text_vec_layer = tf.keras.layers.TextVectorization()
text_vec_layer.adapt(train_data)

精彩语录

  1. 中文tf.data API是TensorFlow中用于加载和预处理数据的强大工具。
    英文原文 :The tf.data API is TensorFlow's preferred way to load and preprocess data efficiently.
    解释 :强调了tf.data API在数据处理中的重要性。

  2. 中文 :Keras预处理层可以嵌入到模型中,确保在训练和推理过程中自动进行数据预处理。
    英文原文 :Keras preprocessing layers can be embedded in your models to preprocess data on the fly during training and inference.
    解释:介绍了Keras预处理层的优势。

  3. 中文 :TFRecord格式是TensorFlow的首选数据存储格式,支持高效读取和存储大量数据。
    英文原文 :The TFRecord format is TensorFlow's preferred format for storing large amounts of data and reading it efficiently.
    解释:解释了TFRecord格式的用途和优势。

  4. 中文 :使用预训练模型组件可以显著加快模型开发和部署的速度。
    英文原文 :Using pretrained model components can significantly accelerate model development and deployment.
    解释:强调了预训练模型组件的实用性。

  5. 中文 :数据加载和预处理是深度学习中的关键技能,尤其是在处理大规模数据集时。
    英文原文 :Loading and preprocessing data efficiently is a crucial skill in deep learning, especially when dealing with large datasets.
    解释:突出了数据处理技能的重要性。

总结

通过本章的学习,读者将掌握使用TensorFlow加载和预处理数据的方法。内容涵盖了tf.data API的使用、TFRecord格式的读写、Keras预处理层的应用,以及TensorFlow Datasets和TensorFlow Hub的使用。这些技能对于高效处理大规模数据集、优化模型训练过程以及简化模型部署具有重要意义。

相关推荐
云之渺2 小时前
英语文章翻译加重点单词和短语一
深度学习
赴3352 小时前
逻辑回归 银行贷款资格判断案列优化 交叉验证,调整阈值,下采样与过采样方法
算法·机器学习·逻辑回归·下采样·交叉验证·过采样·阈值
格林威2 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现各种食物的类型检测识别(C#代码UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
旧时光巷3 小时前
【深度学习②】| DNN篇
人工智能·pytorch·深度学习·dnn·模型训练·手写数字识别·深度神经网络
木卯_THU3 小时前
TGD第十篇:当神经网络遇到TGD特征
人工智能·深度学习·神经网络·表情识别·tgd·视频特征提取·特征工提取
一碗白开水一3 小时前
【模型细节】FPN经典网络模型 (Feature Pyramid Networks)详解及其变形优化
网络·人工智能·pytorch·深度学习·计算机视觉
2202_756749693 小时前
02 基于sklearn的机械学习-KNN算法、模型选择与调优(交叉验证、朴素贝叶斯算法、拉普拉斯平滑)、决策树(信息增益、基尼指数)、随机森林
python·算法·决策树·随机森林·机器学习·sklearn
闲看庭前梦落花3 小时前
Tensorflow实现手写数字识别
人工智能·python·tensorflow
martian6655 小时前
深度学习核心:卷积神经网络 - 原理、实现及在医学影像领域的应用
人工智能·深度学习·机器学习·cnn·卷积神经网络·dicom医学影像
悟乙己5 小时前
译 | 结合聚类与注意力机制的强化学习在个性化促销中的应用
机器学习·数据挖掘·聚类