TensorFlow文件读取 --TFRecords文件

TFRecords文件

是一种二进制文件,能够很好的利用内存,更方便复制和移动,并且不需要单独的标签文件

使用步骤

1)获取数据

2)将数据填入到Example协议内存块(protocol buffer)

3)将协议内存块序列化为字符串,并且通过 tf.python_io.TFRecordWriter写入到TFRecords文件

文件格式 *.tfrecords

Example结构

●tf. train. Example协议内存块(protocol buffer)(协议内存块包含了字段 Features )

●Features包含了一个Feature 字段

●Feature 中包含要写入的数据、并指明数据类型。

这是一个样本的结构,批数据需要循环存入这样的结构

  • tf.train.Example(features=None)

写入tfrecords文件

features: tf.train.Features类型的特征实例

return: example格式协议块

  • tf.train.Features(feature=None)

构建每个样本的信息键值对

feature: 字典数据,key为要保存的名字

value为tf.train.Feature实例

return: Features类型

  • tf.train.Feature(options)

options: 例如

bytes_ litftrain. BytesList(value=Bytes)

int64. lststf.train. Int64List(value=[Value)

支持存入的类型如下

tf.train.Int64List(value=Malue])

tf.train.BytesList(value=Bytes)

tf.train.FloatList(value=value

流程分析

1)构造存储实力 tf.python_io.TFRecordWriter(patch)

2)循环将数据填入到Example协议内存块(protocol buffer)

example解析

●tf.parse. single_ example(serialized, features=None, name=None)

解析一个单一的Example原型

serialized: 标量字符串Tensor, - 一个序列化的Example

features: dict字典数据,键为读取的名字,值为FixedLenFeature

return:一 个键值对组成的字典,键为读取的名字

●tf.FixedL enFeature(shape, dtype)

shape: 输入数据的形状,一般不指定,为空列表

dtype: 输入数据类型,与存储进文件的类型要一致

类型只能是float32, int64, string

案例:

写入:

读取:

流程:

1)构造文件名队列

2)读取和解码

读取

解析example

解码

3)构造批处理队列

相关推荐
金融小师妹21 分钟前
AI趋势识别:黄仁勋宣布“AGI时代”到来,Astra能力跃迁背后的AI安全边界
大数据·python·深度学习·重构·逻辑回归
2501_941875283 小时前
从配置中心到动态管理的互联网工程语法演进与多语言实践分享
开发语言·python
hfywmsj3 小时前
广州餐饮铺位招租决策模型:多因子选址系统设计
开发语言·人工智能·python·广州餐饮铺位招租
沧沧凉凉6 小时前
同一个 Blender 建模,Claude 两个模型都翻车,GPT-6 一次过
人工智能·游戏·ai编程
X54先生(人文科技)6 小时前
ELR-SELLM Edge 神经元网络架构评估报告
人工智能·深度学习·架构·开源
今年下半年6 小时前
从零开始搭建一套大语言模型 + LangGraph 多智能体编排 + RAG 知识库检索** 的智能问答平台
人工智能·语言模型·自然语言处理
泡海椒6 小时前
内置SPI函数库详解:JQuick-Java Builtin工具类实战用法
java·开发语言·python
Lifangyun_WD6 小时前
RTX 5090 与 RTX PRO 6000 怎么选?32GB 和 96GB 显存分别适合哪些 AI 任务
人工智能·aigc·gpu算力·芯片·gpu租赁
hqyjzsb6 小时前
零 AI 项目经验,学 Python 转型 AI 的正确顺序是什么?
开发语言·人工智能·python·算法·职场和发展·数据挖掘·数据分析