【Docker】针对开发环境、测试环境、生产环境如何编排？

steamedobun2024-12-05 8:17

目录

一、引言

[二、Docker Compose 文件基础](#二、Docker Compose 文件基础)

[三、针对不同环境的 Docker 编排](#三、针对不同环境的 Docker 编排)

开发环境

测试环境

生产环境

四、配置文件全局变量的编写

五、总结

一、引言

在软件开发和部署的过程中，不同的环境有着不同的需求和配置。Docker 作为一种强大的容器化技术，能够帮助我们轻松地创建和管理不同环境下的应用程序。通过合理地编排 Docker 容器，我们可以确保应用在开发、测试和生产环境中的一致性和可靠性。本文将详细介绍如何针对这三种环境进行 Docker 编排，包括 docker-compose 文件的编写以及配置文件全局变量的设置。

二、Docker Compose 文件基础

Docker Compose 是一个用于定义和运行多个 Docker 容器的工具，它使用 YAML 文件来配置应用程序的服务、网络和卷等方面14. 以下是一个基本的 docker-compose.yml 文件结构：

version: '3.3'
services:
  # 服务1的配置
  service1:
    image: image_name:tag
    container_name: container_name
    working_dir: /path/to/working/dir
    command: command_to_run
    volumes:
      - host_path:container_path
    environment:
      - VAR1=value1
      - VAR2=value2
    ports:
      - "host_port:container_port"
    restart: always
    runtime: nvidia

  # 服务2的配置
  service2:
    # 类似服务1的配置项
   ...

其中：

  • version指定了 Docker Compose 的版本，不同版本可能具有不同的特性和语法14.
  • services下定义了各个服务，每个服务都有自己的配置，如image指定了使用的 Docker 镜像，container_name定义了容器的名称，working_dir设置了容器内的工作目录，command是容器启动时要执行的命令14.
  • volumes用于挂载主机目录到容器内，实现数据的持久化或共享14.
  • environment设置了容器内的环境变量14.
  • ports进行端口映射，将容器内的端口映射到主机的端口上，方便外部访问14.
  • restart定义了容器的重启策略，always表示容器总是在退出后自动重启14.
  • runtime指定了容器运行时的环境，如nvidia表示使用 NVIDIA 的 GPU 运行时环境。

三、针对不同环境的 Docker 编排

开发环境

  • 特点：开发环境主要用于开发者进行代码编写、调试和初步测试。通常需要频繁地修改代码和配置，并且对环境的灵活性要求较高，以便快速迭代和验证新功能3.

  • Docker Compose 编排示例：

    version: '3.3'
    services:
    hy-asr-dev:
    image: hy-asr:v1.0
    container_name: hy-asr-server-dev
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
    - /usr/share/zoneinfo:/usr/share/zoneinfo
    - /etc/localtime:/etc/timezone:ro
    -./logs:/workspace/hy-asr/logs
    -./resources:/workspace/hy-asr/resources
    -../src:/workspace/hy-asr/src # 挂载本地代码目录，方便开发时修改代码
    environment:
    - TZ=Asia/Shanghai
    - CUDA_DEVICE_ORDER=PCI_BUS_ID
    - CUDA_VISIBLE_DEVICES=0 # 可根据开发机器的GPU资源进行调整（不同环境可视GPU不同，以免出现多个环境使用同一GPU出现显存处理不足的问题）

    以下是配置全局变量，在配置文件中一般使用 ${KAFKA_BROKER_URL:192.168.0.24:9093} 作为全局可变配置参数

        - SERVER_PORT=
    - KAFKA_BROKER_URL=
    - DB_USERNAME=iotmp
    - DB_PASSWORD=
    - DB_HOST=
    - DB_PORT=
    - MINIO_ENDPOINT=
    - MINIO_ACCESS_KEY=
    - MINIO_SECRET_KEY=
    - MINIO_BUCKET_NAME=
    - MINIO_SECURE=
  ports:
    - "8668:8666"
  restart: always
  runtime: nvidia

在开发环境的编排中，我们额外挂载了本地的代码目录../src到容器内的/workspace/hy-asr/src，这样开发者在主机上修改代码后，容器内的代码也会同步更新，无需重新构建镜像。同时，我们可以根据开发机器的实际情况调整 GPU 设备的可见性和端口号等配置。

测试环境

  • 特点：测试环境用于对开发完成的功能进行系统的测试，包括功能测试、性能测试等。测试环境的配置应该尽可能地接近生产环境，以确保测试结果的准确性和可靠性，但也可能需要一些特定的测试工具和配置3.

  • Docker Compose 编排示例：

    version: '3.3'
    services:
    hy-asr-test:
    image: hy-asr:v1.0
    container_name: hy-asr-server-test
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
    - /usr/share/zoneinfo:/usr/share/zoneinfo
    - /etc/localtime:/etc/timezone:ro
    -./logs:/workspace/hy-asr/logs
    -./resources:/workspace/hy-asr/resources
    environment:
    - TZ=Asia/Shanghai
    - CUDA_DEVICE_ORDER=PCI_BUS_ID
    - CUDA_VISIBLE_DEVICES=2
    - SERVER_PORT=8667
    - KAFKA_BROKER_URL=
    - DB_USERNAME=
    - DB_PASSWORD=
    - DB_HOST=
    - DB_PORT=
    - MINIO_ENDPOINT=
    - MINIO_ACCESS_KEY=
    - MINIO_SECRET_KEY=
    - MINIO_BUCKET_NAME=
    - MINIO_SECURE=False
    ports:
    - "8667:8666"
    restart: always
    runtime: nvidia

与开发环境相比，测试环境的编排可能会使用不同的外部服务地址或测试数据库等配置，以模拟真实的生产环境场景。例如，这里的KAFKA_BROKER_URL、DB_HOST等配置与开发环境有所不同，指向了专门为测试环境搭建的服务。

生产环境

  • 特点：生产环境是应用程序最终运行的环境，要求高度的稳定性、可靠性和安全性。配置应该经过严格的测试和验证，并且尽可能地优化性能和资源利用3.

  • Docker Compose 编排示例：

    version: '3.3'
    services:
    hy-asr-prod:
    image: hy-asr:v1.0
    container_name: hy-asr-server-prod
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
    - /usr/share/zoneinfo:/usr/share/zoneinfo
    - /etc/localtime:/etc/timezone:ro
    -./logs:/workspace/hy-asr/logs
    -./resources:/workspace/hy-asr/resources
    environment:
    - TZ=Asia/Shanghai
    - CUDA_DEVICE_ORDER=PCI_BUS_ID
    - CUDA_VISIBLE_DEVICES=3
    - SERVER_PORT=80
    - KAFKA_BROKER_URL=prod_kafka.example.com:9092
    - DB_USERNAME=prod_user
    - DB_PASSWORD=Prod@Passw0rd
    - DB_HOST=prod_db.example.com
    - DB_PORT=3306
    - MINIO_ENDPOINT=prod_minio.example.com:29000
    - MINIO_ACCESS_KEY=prod_admin
    - MINIO_SECRET_KEY=ProdAdmin@123!
    - MINIO_BUCKET_NAME=dida
    - MINIO_SECURE=True
    ports:
    - "8669:8666"
    restart: always
    runtime: nvidia

在生产环境中，我们使用了正式的域名和生产级别的配置，如prod_kafka.example.com、prod_db.example.com等，并且将端口映射到了标准的 HTTP 端口 80。同时，对于敏感信息如数据库密码等，应该使用更严格的安全措施进行管理，这里只是简单示例，实际生产中可能会使用加密存储或从安全的配置中心获取等方式。

四、同时启动docker-compose开发环境、测试环境、生产环境

示例：docker-compose.yml文件内容如下

XML 复制代码 
version: '3.3'
services:
  # 开发环境服务
  hy-asr-dev:
    image: hy-asr:v1.0
    container_name: hy-asr-server-dev
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
      - /usr/share/zoneinfo:/usr/share/zoneinfo
      - /etc/localtime:/etc/timezone:ro
      -./logs:/workspace/hy-asr/logs
      -./resources:/workspace/hy-asr/resources
      -../src:/workspace/hy-asr/src
    environment:
      - TZ=Asia/Shanghai
      - CUDA_DEVICE_ORDER=PCI_BUS_ID
      - CUDA_VISIBLE_DEVICES=0  # 容器可见GPU（假设服务器为多显卡，课件GPU可设置为0, 1, 2, 3）
      - SERVER_PORT=8667
# 以下是配置全局变量的值，若在项目中配置文件中有使用${... : ...}指定值，会使其替换为这里定义的全局变量值
      - KAFKA_BROKER_URL=
      - DB_USERNAME=
      - DB_PASSWORD=
      - DB_HOST=
      - DB_PORT=
      - MINIO_ENDPOINT=
      - MINIO_ACCESS_KEY=
      - MINIO_SECRET_KEY=
      - MINIO_BUCKET_NAME=
      - MINIO_SECURE=
    ports:
# 原需调用的接口为10.0.4.66:8666，映射后调用该开发环境服务接口为10.0.4.66:8667
      - "8667:8666" # 8667是在容器外的映射端口，8666是容器内项目实际需要调用服务的端口
    restart: always
    runtime: nvidia

  # 测试环境服务
  hy-asr-test:
    image: hy-asr:v1.0
    container_name: hy-asr-server-test
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
      - /usr/share/zoneinfo:/usr/share/zoneinfo
      - /etc/localtime:/etc/timezone:ro
      -./logs:/workspace/hy-asr/logs
      -./resources:/workspace/hy-asr/resources
    environment:
      - TZ=Asia/Shanghai
      - CUDA_DEVICE_ORDER=PCI_BUS_ID
      - CUDA_VISIBLE_DEVICES=2
      - SERVER_PORT=8668
      - KAFKA_BROKER_URL=
      - DB_USERNAME=
      - DB_PASSWORD=
      - DB_HOST=
      - DB_PORT=
      - MINIO_ENDPOINT=
      - MINIO_ACCESS_KEY=
      - MINIO_SECRET_KEY=
      - MINIO_BUCKET_NAME=
      - MINIO_SECURE=False
    ports:
# 原需调用的接口为10.0.4.66:8666，映射后调用该测试环境服务接口为10.0.4.66:8668
      - "8668:8666"
    restart: always
    runtime: nvidia

  # 生产环境服务
  hy-asr-prod:
    image: hy-asr:v1.0
    container_name: hy-asr-server-prod
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
      - /usr/share/zoneinfo:/usr/share/zoneinfo
      - /etc/localtime:/etc/timezone:ro
      -./logs:/workspace/hy-asr/logs
      -./resources:/workspace/hy-asr/resources
    environment:
      - TZ=Asia/Shanghai
      - CUDA_DEVICE_ORDER=PCI_BUS_ID
      - CUDA_VISIBLE_DEVICES=3
      - SERVER_PORT=80
      - KAFKA_BROKER_URL=
      - DB_USERNAME=
      - DB_PASSWORD=
      - DB_HOST=
      - DB_PORT=
      - MINIO_ENDPOINT=
      - MINIO_ACCESS_KEY=
      - MINIO_SECRET_KEY=
      - MINIO_BUCKET_NAME=
      - MINIO_SECURE=True
    ports:
# 原需调用的接口为10.0.4.66:8666，映射后调用该生产环境服务接口为10.0.4.66:8668
      - "8669:8666"
    restart: always
    runtime: nvidia

五、配置文件全局变量的编写

配置文件可变全局变量如何定义？

如下使用 ${KAFKA_BROKER_URL:192.168.0.4:9093} 形式

kafka:
  broker_url: ${KAFKA_BROKER_URL:192.168.0.4:9093}
  topic_name: ${KAFKA_TOPIC_NAME:hy-asr-audio}
  consumer_topic: ${KAFKA_CONSUMER_TOPIC:hy-asr-generate}
  group_id: ${KAFKA_GROUP_ID:hy-asr}
  auto_offset_reset: ${KAFKA_AUTO_OFFSET_RESET:earliest}
  enable_auto_commit: ${KAFKA_ENABLE_AUTO_COMMIT:true} # 是否自动提交偏移量,默认为true

在 Docker Compose 文件中，我们可以使用环境变量来设置配置文件的全局变量，这样可以方便地在不同环境中切换配置，而无需修改 Docker Compose 文件本身。例如，对于KAFKA_BROKER_URL，我们可以这样设置：

environment:
  - KAFKA_BROKER_URL=${KAFKA_BROKER_URL:192.168.0.4:9093}

这里的 ${KAFKA_BROKER_URL:192.168.0.4:9093} 表示如果环境变量KAFKA_BROKER_URL未设置，则使用默认值192.168.0.4:9093。在实际使用中，我们可以在启动 Docker 容器之前，在主机上设置相应的环境变量，或者在 CI/CD 流程中通过脚本设置环境变量，从而实现不同环境下的配置切换。例如，在开发环境中，也可以在终端中执行 export KAFKA_BROKER_URL=dev_kafka.example.com:9092，然后再运行 docker-compose up，这样容器内的KAFKA_BROKER_URL环境变量就会使用开发环境的配置。

相关推荐
追风林40 分钟前
mac 本地 docker 安装 kafka
macos·docker·kafka
奔跑中的小象2 小时前
低版本 Linux 系统通过二进制方式升级部署高版本 Docker
linux·docker
最数据2 小时前
收集了一些docker修改镜像源地址
docker·容器·镜像源·国内源地址
云上艺旅3 小时前
K8S学习之基础二十四：k8s的持久化存储之pv和pvc
学习·云原生·容器·kubernetes
人间凡尔赛3 小时前
VSCode-Server 在 Linux 容器中的手动安装指南
linux·运维·服务器·docker
Sans_4 小时前
初识Docker-Compose(包含示例)
后端·docker·容器
Java程序之猿4 小时前
Centos 安装docker,docker-compose
linux·docker·centos
TechStack 创行者5 小时前
Docker+Flask 实战：打造高并发微服务架构
运维·docker·微服务·容器·架构
Sirius Wu5 小时前
三级缓存架构
容器·kubernetes·embedding
容器魔方5 小时前
KubeEdge边缘设备管理系列（四）：Mapper-Framework视频流处理
云原生·容器·云计算
热门推荐
01如何在WPS和Word/Excel中直接使用DeepSeek功能02DeepSeek各版本说明与优缺点分析03本地部署DeepSeek教程（Mac版本）04从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑05如何本地部署AI智能体平台，带你手搓一个AI Agent06DeepSeek R1本地化部署 Ollama + Chatbox 打造最强 AI 工具07DeepSeek RAGFlow构建本地知识库系统08Windows 11 安装 Dify 完整指南 非docker环境09本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程10组基轨迹建模 GBTM的介绍与实现（Stata 或 R）