在 Windows 上部署 TensorFlow 模型的全面指南

---

---

在 Windows 上部署 TensorFlow 模型的全面指南

• • 一、部署前准备：环境配置
  • • [✅ 推荐环境组合（Windows）](#✅ 推荐环境组合（Windows）)
  • 二、模型导出：标准化格式
  • • [1. 导出为 SavedModel（推荐）](#1. 导出为 SavedModel（推荐）)
    • [2. 导出为 ONNX（跨框架兼容）](#2. 导出为 ONNX（跨框架兼容）)
    • [3. 导出为 TensorFlow Lite（移动端/嵌入式）](#3. 导出为 TensorFlow Lite（移动端/嵌入式）)
  • 三、部署方案详解
  • • [方案 A：原生 Windows Flask 服务（CPU 推理）](#方案 A：原生 Windows Flask 服务（CPU 推理）)
    • • [📁 目录结构](#📁 目录结构)
      • [🌐 app.py](#🌐 app.py)
      • [▶️ 启动服务](#▶️ 启动服务)
    • [方案 B：WSL2 + Docker + GPU 推理（生产级）](#方案 B：WSL2 + Docker + GPU 推理（生产级）)
    • • [步骤 1：启用 WSL2](#步骤 1：启用 WSL2)
      • [步骤 2：安装 NVIDIA 驱动（Windows 主机）](#步骤 2：安装 NVIDIA 驱动（Windows 主机）)
      • [步骤 3：Dockerfile（GPU 支持）](#步骤 3：Dockerfile（GPU 支持）)
      • [步骤 4：构建并运行](#步骤 4：构建并运行)
    • [方案 C：TensorRT 优化（极致性能）](#方案 C：TensorRT 优化（极致性能）)
    • • 转换流程
      • [性能对比（RTX 4090）](#性能对比（RTX 4090）)
  • [四、避坑指南（Windows 特有）](#四、避坑指南（Windows 特有）)
  • 五、常用命令速查表
  • • [🐍 Python / TensorFlow](#🐍 Python / TensorFlow)
    • [🐳 Docker (WSL2)](#🐳 Docker (WSL2))
    • [🖥️ 系统诊断](#🖥️ 系统诊断)
  • 六、学习资料大全
  • • [📘 官方文档](#📘 官方文档)
    • [🌐 优质线上课程](#🌐 优质线上课程)
    • [📊 数据集与模型库](#📊 数据集与模型库)
    • [🛠️ 工具链](#🛠️ 工具链)
  • 七、生产部署建议
  • • [1. 服务架构](#1. 服务架构)
    • [2. 关键配置](#2. 关键配置)
    • [3. 性能监控](#3. 性能监控)
  • [八、总结：Windows 部署路线图](#八、总结：Windows 部署路线图)

---

本文提供 从模型导出到生产服务 的完整流程，涵盖 TensorFlow SavedModel、TensorRT、ONNX、Docker（WSL2）、Flask/FastAPI 服务化 等主流方案，并附 避坑指南、命令速查表、权威学习资源。

---

一、部署前准备：环境配置

---

✅ 推荐环境组合（Windows）

组件	推荐版本	安装方式
Python	3.9--3.11	python.org
TensorFlow	2.15+ (CPU) / 2.15+ (GPU)	pip install tensorflow
CUDA Toolkit	12.3	NVIDIA 官网
cuDNN	8.9+	NVIDIA cuDNN
Docker Desktop	最新版	启用 WSL2 后端
Visual Studio Build Tools	2022	安装 C++ 构建工具

⚠️ 重要：

• TensorFlow 2.11+ 不再支持原生 Windows GPU ，必须通过 WSL2 使用 GPU
• CPU 推理仍可在原生 Windows 运行

---

二、模型导出：标准化格式

---

1. 导出为 SavedModel（推荐）

import tensorflow as tf

# 加载训练好的模型
model = tf.keras.models.load_model("my_model.h5")

# 导出为 SavedModel
tf.saved_model.save(model, "saved_model/my_model")

# 验证导出
loaded = tf.saved_model.load("saved_model/my_model")
infer = loaded.signatures["serving_default"]
print(infer.structured_outputs)

---

2. 导出为 ONNX（跨框架兼容）

# 安装 tf2onnx
pip install tf2onnx

# 转换命令
python -m tf2onnx.convert \
  --saved-model saved_model/my_model \
  --output model.onnx \
  --opset 15

---

3. 导出为 TensorFlow Lite（移动端/嵌入式）

converter = tf.lite.TFLiteConverter.from_saved_model("saved_model/my_model")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()

with open("model.tflite", "wb") as f:
    f.write(tflite_model)

---

三、部署方案详解

方案 A：原生 Windows Flask 服务（CPU 推理）

---

📁 目录结构

tf-deploy/
├── app.py
├── saved_model/
│   └── my_model/
├── requirements.txt
└── static/
    └── upload.html

---

🌐 app.py

from flask import Flask, request, jsonify
import tensorflow as tf
import numpy as np
from PIL import Image
import io

app = Flask(__name__)

# 全局加载模型（避免每次请求加载）
model = tf.saved_model.load("saved_model/my_model")
infer = model.signatures["serving_default"]

@app.route('/predict', methods=['POST'])
def predict():
    if 'file' not in request.files:
        return jsonify({"error": "No file"}), 400
    
    file = request.files['file']
    img = Image.open(io.BytesIO(file.read())).convert('RGB')
    img = img.resize((224, 224))
    x = np.array(img).astype(np.float32) / 255.0
    x = np.expand_dims(x, axis=0)

    # 推理
    output = infer(tf.constant(x))
    pred = tf.argmax(output['output_0'], axis=1).numpy()[0]
    
    return jsonify({"class_id": int(pred)})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

---

▶️ 启动服务

pip install -r requirements.txt
python app.py
# 访问 http://localhost:5000/predict

---

方案 B：WSL2 + Docker + GPU 推理（生产级）

步骤 1：启用 WSL2

# PowerShell (管理员)
wsl --install
wsl --set-default-version 2

---

步骤 2：安装 NVIDIA 驱动（Windows 主机）

• 下载 NVIDIA WSL Driver
• 安装后重启

---

步骤 3：Dockerfile（GPU 支持）

# 使用官方 TensorFlow GPU 镜像
FROM tensorflow/tensorflow:2.15.0-gpu

# 安装系统依赖
RUN apt-get update && apt-get install -y \
    libgl1 \
    && rm -rf /var/lib/apt/lists/*

# 安装 Python 依赖
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

# 复制模型和应用
COPY saved_model /app/saved_model
COPY app.py /app/

WORKDIR /app

EXPOSE 5000

CMD ["python", "app.py"]

---

步骤 4：构建并运行

# 在 WSL2 Ubuntu 中执行
docker build -t tf-gpu-app .

# 运行（自动挂载 GPU）
docker run -d --gpus all -p 5000:5000 tf-gpu-app

💡 验证 GPU：

print("GPU Available: ", len(tf.config.list_physical_devices('GPU')))

---

方案 C：TensorRT 优化（极致性能）

注意：TensorRT 仅支持 Linux，需在 WSL2 中使用

---

转换流程

# convert_to_trt.py (在 WSL2 中运行)
import tensorflow as tf
from tensorflow.python.compiler.tensorrt import trt_convert as trt

converter = trt.TrtGraphConverterV2(
    input_saved_model_dir="saved_model/my_model",
    precision_mode=trt.TrtPrecisionMode.FP16
)

converter.convert()
converter.save("saved_model/my_model_trt")

---

性能对比（RTX 4090）

格式	吞吐 (img/s)	延迟 (ms)
TensorFlow FP32	180	5.6
TensorRT FP16	520	1.9

---

四、避坑指南（Windows 特有）

---

问题	原因	解决方案
Could not load dynamic library 'cudart64_110.dll'	CUDA 版本不匹配	安装 CUDA 11.8（TF 2.15 要求）
GPU 不可用（WSL2）	未安装 WSL 专用驱动	下载 NVIDIA WSL Driver
路径含中文/空格	TensorFlow 路径解析错误	使用 纯英文路径，无空格
Docker 挂载卷失败	Windows 文件权限	在 Docker Desktop 设置中 启用 WSL2 集成
模型加载慢	未使用 SavedModel	避免 .h5，改用 tf.saved_model.save()
内存泄漏	Flask 每次请求加载模型	全局加载模型（如示例代码）

🔥 致命陷阱 ：
不要尝试在原生 Windows 上运行 TensorFlow GPU （TF 2.11+ 已移除支持）！

必须使用 WSL2。

---

五、常用命令速查表

---

🐍 Python / TensorFlow

命令	作用
tf.config.list_physical_devices('GPU')	检查 GPU 可用性
tf.saved_model.save(model, "path")	导出 SavedModel
loaded = tf.saved_model.load("path")	加载 SavedModel
print(loaded.signatures.keys())	查看模型签名

---

🐳 Docker (WSL2)

命令	作用
wsl -l -v	查看 WSL 发行版状态
docker build -t name .	构建镜像
docker run --gpus all -p 5000:5000 name	启动 GPU 容器
docker exec -it container_name bash	进入容器调试

---

🖥️ 系统诊断

命令	作用
nvidia-smi	查看 GPU 状态（WSL2 中）
`tasklist	findstr python`
`Get-Process -Name python	Stop-Process`

---

六、学习资料大全

---

📘 官方文档

资源	链接
TensorFlow 部署指南	https://www.tensorflow.org/guide/deploy
SavedModel 详解	https://www.tensorflow.org/guide/saved_model
TensorFlow Serving	https://www.tensorflow.org/tfx/guide/serving
WSL2 + GPU 官方教程	https://docs.nvidia.com/cuda/wsl-user-guide/index.html

---

🌐 优质线上课程

平台	课程
Coursera	TensorFlow Data and Deployment
Udemy	Deployment of Machine Learning Models
YouTube	TensorFlow Official Channel

---

📊 数据集与模型库

资源	说明
TensorFlow Hub	https://tfhub.dev/ （预训练模型）
Kaggle Datasets	https://www.kaggle.com/datasets （实战数据）
Model Zoo	https://github.com/tensorflow/models （官方模型实现）

---

🛠️ 工具链

工具	用途
Netron	https://netron.app/ （可视化模型结构）
TensorBoard	tensorboard --logdir=logs （监控训练/推理）
ONNX Runtime	https://onnxruntime.ai/ （跨平台推理引擎）

---

七、生产部署建议

---

1. 服务架构

客户端
Nginx 负载均衡
TF Serving 实例1
TF Serving 实例2
Prometheus 监控

---

2. 关键配置

• 使用 TensorFlow Serving （而非 Flask）处理高并发：

  docker run -t --rm -p 8501:8501 \
    -v "$(pwd)/saved_model:/models/my_model" \
    -e MODEL_NAME=my_model \
    tensorflow/serving

• 启用 gRPC（比 REST 更高效）

• 设置健康检查 ：/v1/models/my_model

---

3. 性能监控

• 暴露指标：--monitoring_config_file=monitoring_config.txt
• 集成 Prometheus + Grafana

---

八、总结：Windows 部署路线图

✅ CPU 推理 → 原生 Windows + Flask

✅ GPU 推理 → WSL2 + Docker + TensorFlow Serving

✅ 极致性能 → WSL2 + TensorRT

✅ 跨平台 → 导出 ONNX + ONNX Runtime

💡 终极建议 ：

对于新项目，直接使用 WSL2 开发和部署 ，避免 Windows 原生环境的兼容性问题。

生产环境优先选择 TensorFlow Serving 而非自研服务。

---

通过本指南，你可将 TensorFlow 模型从研究环境无缝迁移到 Windows 生产系统，兼顾 开发效率、运行性能、系统稳定。

---

---