深度学习基础之《TensorFlow框架(14)—TFRecords》

一、什么是TFRecords文件

1、TFRecords其实是一种二进制文件,虽然它不如其他格式好理解,但是它能更好的利用内存,更方便复制和移动,并且不需要单独的标签文件

2、使用步骤

(1)获取数据

(2)将数据填入到Example协议内存块(protocol buffer)

(3)将协议内存块序列化为字符串,并且通过tf.io.TFRecordWriter写入到TFRecords文件

3、文件格式*.tfrecords

二、Example结构解析

1、Example

python 复制代码
features {
	feature {
		key: "image"
		value {
			bytes_list {
				value: "\377\374\375\372\356\351\365\31\350\356\352\350"
			}
		}
	}
	feature {
		key: "lable"
		value {
			int64_list {
				value: 9
			}
		}
	}
}

特征值 - image - 3072字节

目标值 - label - 1个字节

说明:

(1)tf.train.Example

协议内存块(protocol buffer)(协议内存块包含了字段features)

(2)features

包含了feature字段

(3)feature

中包含要写入的数据、并指明数据类型

2、相关对象

tf.train.Example(features=None)

说明:

(1)写入tfrecords文件

(2)features:tf.train.Features类型的特征实例

(3)return:example格式协议块

tf.train.Features(feature=Nona)

说明:

(1)构建每个样本的信息键值对

(2)feature:字段数据,key为要保存的名字,value为tf.train.Feature实例

(3)return:Features实例

tf.train.Feature(options)

说明:

(1)options

bytes_list=tf.train.BytesList(value=[Bytes])

int64_list=tf.train.Int64List(value=[Value])

float_list=tf.train.FloatList(value=[Value])

(2)支持存入的类型如下

tf.train.BytesList(value=[Bytes])

tf.train.Int64List(value=[Value])

tf.train.FloatList(value=[Value])

3、一个样本的对象

python 复制代码
example = tf.train.Example(features=tf.train.Features(feature={"image":tf.train.Feature(bytes_list=tf.train.BytesList(value=[image])"label":tf.train.Feature(int64_list=tf.train.Int64List(value=[label])))}))

三、CIFAR-10数据存入TFRecords文件

四、读取TFRecords文件API

五、读取CIFAR的TFRecords文件

相关推荐
Mr.Winter`16 分钟前
深度强化学习 | 基于SAC算法的动态避障(ROS C++仿真)
人工智能·深度学习·神经网络·机器人·自动驾驶·ros·具身智能
东方芷兰23 分钟前
LLM 笔记 —— 07 Tokenizers(BPE、WordPeice、SentencePiece、Unigram)
人工智能·笔记·深度学习·神经网络·语言模型·自然语言处理·nlp
盼小辉丶38 分钟前
Transformer实战(22)——使用FLAIR进行语义相似性评估
深度学习·自然语言处理·transformer
棱镜研途1 小时前
科研快报 |声波“听”见火灾温度:混合深度学习重构三维温度场
人工智能·深度学习·目标检测·重构·传感·声波测温·火灾安全
2401_836900331 小时前
PyTorch实现MNIST手写数字识别:从数据到模型全解析
pytorch·深度学习·可视化训练
武子康1 小时前
AI-调查研究-102-具身智能 智能机械臂、自动驾驶与人形机器人的模仿学习、强化学习与多模态融合趋势
人工智能·深度学习·机器学习·ai·机器人·强化学习·具身智能
A-大程序员11 小时前
【pytorch】合并与分割
人工智能·pytorch·深度学习
材料科学研究12 小时前
掌握PINN:从理论到实战的神经网络进阶!!
深度学习·神经网络·pinn
B站计算机毕业设计之家13 小时前
多模态项目:Python人脸表情系统 CNN算法 神经网络+Adaboost定位+PyQt5界面 源码+文档 深度学习实战✅
python·深度学习·神经网络·opencv·yolo·计算机视觉·情绪识别
AI人工智能+14 小时前
行驶证识别技术通过OCR和AI实现信息自动化采集与处理,涵盖图像预处理、文字识别及结构化校验,提升效率与准确性
人工智能·深度学习·ocr·行驶证识别