Python 加载 TensorFlow 模型

1.SavedModel和HDF5加载TensorFlow模型

为了加载一个TensorFlow模型，我们首先需要明确模型的格式。TensorFlow支持多种模型格式，但最常见的两种是SavedModel和HDF5（对于Keras模型）。这里，我将分别给出加载这两种模型格式的示例代码。

1.1加载SavedModel格式的TensorFlow模型

SavedModel是TensorFlow推荐的高级格式，用于保存和加载整个TensorFlow程序，包括TensorFlow图和检查点。

示例代码：

假设你已经有一个训练好的SavedModel模型保存在./saved_model目录下。

import tensorflow as tf  
  
# 加载模型  
loaded_model = tf.saved_model.load('./saved_model')  
  
# 查看模型的签名  
print(list(loaded_model.signatures.keys()))  
  
# 假设你的模型有一个名为`serving_default`的签名，并且接受一个名为`input`的输入  
# 你可以这样使用模型进行预测（假设输入数据为x_test）  
# 注意：这里的x_test需要根据你的模型输入进行调整  
import numpy as np  
  
# 假设输入是一个简单的numpy数组  
x_test = np.random.random((1, 28, 28, 1))  # 例如，用于MNIST模型的输入  
  
# 转换为Tensor  
x_test_tensor = tf.convert_to_tensor(x_test, dtype=tf.float32)  
  
# 创建一个批次，因为大多数模型都期望批次输入  
input_data = {'input': x_test_tensor}  
  
# 调用模型  
predictions = loaded_model.signatures['serving_default'](input_data)  
  
# 打印预测结果  
print(predictions['output'].numpy())  # 注意：这里的'output'需要根据你的模型输出调整

1.2加载HDF5格式的Keras模型

HDF5格式是Keras（TensorFlow高层API）用于保存和加载模型的常用格式。

示例代码：

假设你有一个Keras模型保存在model.h5文件中。

from tensorflow.keras.models import load_model  
  
# 加载模型  
model = load_model('model.h5')  
  
# 查看模型结构  
model.summary()  
  
# 假设你有一组测试数据x_test和y_test  
# 注意：这里的x_test和y_test需要根据你的数据集进行调整  
import numpy as np  
  
x_test = np.random.random((10, 28, 28, 1))  # 假设的输入数据  
y_test = np.random.randint(0, 10, size=(10, 1))  # 假设的输出数据  
  
# 使用模型进行预测  
predictions = model.predict(x_test)  
  
# 打印预测结果  
print(predictions)

1.3注意

• 确保你的模型文件路径（如'./saved_model'或'model.h5'）是正确的。
• 根据你的模型，你可能需要调整输入数据的形状和类型。
• 对于SavedModel，模型的签名（signature）和输入输出名称可能不同，需要根据你的具体情况进行调整。
• 这些示例假设你已经有了模型文件和相应的测试数据。如果你正在从头开始，你需要先训练一个模型并保存它。

2.TensorFlow中加载SavedModel模型

在TensorFlow中加载SavedModel模型是一个相对直接的过程。SavedModel是TensorFlow的一种封装格式，它包含了完整的TensorFlow程序，包括计算图（Graph）和参数（Variables），以及一个或多个tf.function签名（Signatures）。这些签名定义了如何向模型提供输入和获取输出。

以下是在TensorFlow中加载SavedModel模型的步骤和示例代码：

2.1步骤

（1）确定SavedModel的路径 ：首先，你需要知道SavedModel文件被保存在哪个目录下。这个目录应该包含一个saved_model.pb文件和一个variables目录（如果模型有变量的话）。

（2）使用tf.saved_model.load函数加载模型 ：TensorFlow提供了一个tf.saved_model.load函数，用于加载SavedModel。这个函数接受SavedModel的路径作为参数，并返回一个tf.saved_model.Load对象，该对象包含了模型的所有签名和函数。

（3）访问模型的签名 ：加载的模型对象有一个signatures属性，它是一个字典，包含了模型的所有签名。每个签名都有一个唯一的键（通常是serving_default，但也可以是其他名称），对应的值是一个函数，该函数可以接收输入并返回输出。

（4）使用模型进行预测：通过调用签名对应的函数，并传入适当的输入数据，你可以使用模型进行预测。

2.2示例代码

import tensorflow as tf  
  
# 加载SavedModel  
model_path = './path_to_your_saved_model'  # 替换为你的SavedModel路径  
loaded_model = tf.saved_model.load(model_path)  
  
# 查看模型的签名  
print(list(loaded_model.signatures.keys()))  # 通常会有一个'serving_default'  
  
# 假设你的模型有一个名为'serving_default'的签名，并且接受一个名为'input'的输入  
# 你可以这样使用模型进行预测（假设你已经有了适当的输入数据x_test）  
  
# 注意：这里的x_test需要根据你的模型输入进行调整  
# 假设x_test是一个Tensor或者可以转换为Tensor的numpy数组  
import numpy as np  
  
x_test = np.random.random((1, 28, 28, 1))  # 例如，对于MNIST模型的一个输入  
  
# 将numpy数组转换为Tensor  
x_test_tensor = tf.convert_to_tensor(x_test, dtype=tf.float32)  
  
# 创建一个字典，将输入Tensor映射到签名的输入参数名（这里是'input'）  
# 注意：'input'这个名称需要根据你的模型签名进行调整  
input_data = {'input': x_test_tensor}  
  
# 调用模型  
predictions = loaded_model.signatures['serving_default'](input_data)  
  
# 获取预测结果  
# 注意：这里的'output'需要根据你的模型输出签名进行调整  
# 如果你的模型有多个输出，你可能需要访问predictions字典中的多个键  
predicted_output = predictions['output'].numpy()  
  
# 打印预测结果  
print(predicted_output)

请注意，上面的代码示例假设你的模型签名有一个名为input的输入参数和一个名为output的输出参数。然而，在实际应用中，这些名称可能会根据你的模型而有所不同。因此，你需要检查你的模型签名以了解正确的参数名称。你可以通过打印loaded_model.signatures['serving_default'].structured_outputs（对于TensorFlow 2.x的某些版本）或检查你的模型训练代码和保存逻辑来获取这些信息。

3.TensorFlow中加载SavedModel模型进行预测示例

在TensorFlow中加载SavedModel模型是一个直接的过程，它允许你恢复之前保存的整个TensorFlow程序，包括计算图和权重。以下是一个详细的示例，展示了如何在TensorFlow中加载一个SavedModel模型，并对其进行预测。

首先，确保你已经有一个SavedModel模型保存在某个目录中。这个目录应该包含一个saved_model.pb文件（或者在新版本的TensorFlow中可能不包含这个文件，因为图结构可能存储在variables目录的某个子目录中），以及一个variables目录，其中包含了模型的权重和变量。

3.1示例代码

import tensorflow as tf  
  
# 指定SavedModel的保存路径  
saved_model_path = './path_to_your_saved_model'  # 请替换为你的SavedModel实际路径  
  
# 加载SavedModel  
loaded_model = tf.saved_model.load(saved_model_path)  
  
# 查看模型的签名  
# 注意：SavedModel可以有多个签名，但通常会有一个默认的'serving_default'  
print(list(loaded_model.signatures.keys()))  
  
# 假设模型有一个默认的'serving_default'签名，并且我们知道它的输入和输出  
# 通常，这些信息可以在保存模型时通过tf.function的inputs和outputs参数指定  
  
# 准备输入数据  
# 这里我们使用随机数据作为示例，你需要根据你的模型输入要求来调整  
import numpy as np  
  
# 假设模型的输入是一个形状为[batch_size, height, width, channels]的Tensor  
# 例如，对于MNIST模型，它可能是一个形状为[1, 28, 28, 1]的Tensor  
input_data = np.random.random((1, 28, 28, 1)).astype(np.float32)  
  
# 将numpy数组转换为Tensor  
input_tensor = tf.convert_to_tensor(input_data)  
  
# 创建一个字典，将输入Tensor映射到签名的输入参数名  
# 注意：这里的'input_tensor'需要根据你的模型签名中的输入参数名来调整  
# 如果签名中的输入参数名确实是'input_tensor'，则保持不变；否则，请替换为正确的名称  
# 但在很多情况下，默认的名称可能是'input'或类似的东西  
input_dict = {'input': input_tensor}  # 假设输入参数名为'input'  
  
# 调用模型进行预测  
# 使用签名对应的函数，并传入输入字典  
predictions = loaded_model.signatures['serving_default'](input_dict)  
  
# 获取预测结果  
# 预测结果通常是一个字典，其中包含了一个或多个输出Tensor  
# 这里的'output'需要根据你的模型签名中的输出参数名来调整  
# 如果签名中只有一个输出，并且它的名字是'output'，则可以直接使用；否则，请替换为正确的键  
predicted_output = predictions['output'].numpy()  
  
# 打印预测结果  
print(predicted_output)  
  
# 注意：如果你的模型有多个输出，你需要从predictions字典中访问每个输出  
# 例如：predictions['second_output'].numpy()

3.2注意事项

（1）输入和输出名称 ：在上面的示例中，我使用了input和output作为输入和输出的名称。然而，这些名称可能并不适用于你的模型。你需要检查你的模型签名来确定正确的输入和输出参数名。你可以通过打印loaded_model.signatures['serving_default'].structured_inputs和loaded_model.signatures['serving_default'].structured_outputs（对于TensorFlow 2.x的某些版本）来查看这些信息。

（2）数据类型和形状：确保你的输入数据具有模型期望的数据类型和形状。如果数据类型或形状不匹配，可能会导致错误。

（3）批处理：在上面的示例中，我创建了一个包含单个样本的批次。如果你的模型是为批处理而设计的，并且你希望一次性处理多个样本，请相应地调整输入数据的形状。

（4）错误处理：在实际应用中，你可能需要添加错误处理逻辑来处理加载模型时可能出现的任何异常，例如文件不存在或模型格式不正确。