【Docker】针对开发环境、测试环境、生产环境如何编排？

steamedobun2024-12-05 8:17

目录

一、引言

[二、Docker Compose 文件基础](#二、Docker Compose 文件基础)

[三、针对不同环境的 Docker 编排](#三、针对不同环境的 Docker 编排)

开发环境

测试环境

生产环境

四、配置文件全局变量的编写

五、总结

一、引言

在软件开发和部署的过程中，不同的环境有着不同的需求和配置。Docker 作为一种强大的容器化技术，能够帮助我们轻松地创建和管理不同环境下的应用程序。通过合理地编排 Docker 容器，我们可以确保应用在开发、测试和生产环境中的一致性和可靠性。本文将详细介绍如何针对这三种环境进行 Docker 编排，包括 docker-compose 文件的编写以及配置文件全局变量的设置。

二、Docker Compose 文件基础

Docker Compose 是一个用于定义和运行多个 Docker 容器的工具，它使用 YAML 文件来配置应用程序的服务、网络和卷等方面14. 以下是一个基本的 docker-compose.yml 文件结构：

复制代码 
version: '3.3'
services:
  # 服务1的配置
  service1:
    image: image_name:tag
    container_name: container_name
    working_dir: /path/to/working/dir
    command: command_to_run
    volumes:
      - host_path:container_path
    environment:
      - VAR1=value1
      - VAR2=value2
    ports:
      - "host_port:container_port"
    restart: always
    runtime: nvidia

  # 服务2的配置
  service2:
    # 类似服务1的配置项
   ...

其中：

  • version指定了 Docker Compose 的版本，不同版本可能具有不同的特性和语法14.
  • services下定义了各个服务，每个服务都有自己的配置，如image指定了使用的 Docker 镜像，container_name定义了容器的名称，working_dir设置了容器内的工作目录，command是容器启动时要执行的命令14.
  • volumes用于挂载主机目录到容器内，实现数据的持久化或共享14.
  • environment设置了容器内的环境变量14.
  • ports进行端口映射，将容器内的端口映射到主机的端口上，方便外部访问14.
  • restart定义了容器的重启策略，always表示容器总是在退出后自动重启14.
  • runtime指定了容器运行时的环境，如nvidia表示使用 NVIDIA 的 GPU 运行时环境。

三、针对不同环境的 Docker 编排

开发环境

  • 特点：开发环境主要用于开发者进行代码编写、调试和初步测试。通常需要频繁地修改代码和配置，并且对环境的灵活性要求较高，以便快速迭代和验证新功能3.

  • Docker Compose 编排示例：

    version: '3.3'
    services:
    hy-asr-dev:
    image: hy-asr:v1.0
    container_name: hy-asr-server-dev
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
    - /usr/share/zoneinfo:/usr/share/zoneinfo
    - /etc/localtime:/etc/timezone:ro
    -./logs:/workspace/hy-asr/logs
    -./resources:/workspace/hy-asr/resources
    -../src:/workspace/hy-asr/src # 挂载本地代码目录，方便开发时修改代码
    environment:
    - TZ=Asia/Shanghai
    - CUDA_DEVICE_ORDER=PCI_BUS_ID
    - CUDA_VISIBLE_DEVICES=0 # 可根据开发机器的GPU资源进行调整（不同环境可视GPU不同，以免出现多个环境使用同一GPU出现显存处理不足的问题）

    以下是配置全局变量，在配置文件中一般使用 ${KAFKA_BROKER_URL:192.168.0.24:9093} 作为全局可变配置参数

    复制代码 
        - SERVER_PORT=
    - KAFKA_BROKER_URL=
    - DB_USERNAME=iotmp
    - DB_PASSWORD=
    - DB_HOST=
    - DB_PORT=
    - MINIO_ENDPOINT=
    - MINIO_ACCESS_KEY=
    - MINIO_SECRET_KEY=
    - MINIO_BUCKET_NAME=
    - MINIO_SECURE=
  ports:
    - "8668:8666"
  restart: always
  runtime: nvidia

在开发环境的编排中，我们额外挂载了本地的代码目录../src到容器内的/workspace/hy-asr/src，这样开发者在主机上修改代码后，容器内的代码也会同步更新，无需重新构建镜像。同时，我们可以根据开发机器的实际情况调整 GPU 设备的可见性和端口号等配置。

测试环境

  • 特点：测试环境用于对开发完成的功能进行系统的测试，包括功能测试、性能测试等。测试环境的配置应该尽可能地接近生产环境，以确保测试结果的准确性和可靠性，但也可能需要一些特定的测试工具和配置3.

  • Docker Compose 编排示例：

    version: '3.3'
    services:
    hy-asr-test:
    image: hy-asr:v1.0
    container_name: hy-asr-server-test
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
    - /usr/share/zoneinfo:/usr/share/zoneinfo
    - /etc/localtime:/etc/timezone:ro
    -./logs:/workspace/hy-asr/logs
    -./resources:/workspace/hy-asr/resources
    environment:
    - TZ=Asia/Shanghai
    - CUDA_DEVICE_ORDER=PCI_BUS_ID
    - CUDA_VISIBLE_DEVICES=2
    - SERVER_PORT=8667
    - KAFKA_BROKER_URL=
    - DB_USERNAME=
    - DB_PASSWORD=
    - DB_HOST=
    - DB_PORT=
    - MINIO_ENDPOINT=
    - MINIO_ACCESS_KEY=
    - MINIO_SECRET_KEY=
    - MINIO_BUCKET_NAME=
    - MINIO_SECURE=False
    ports:
    - "8667:8666"
    restart: always
    runtime: nvidia

与开发环境相比，测试环境的编排可能会使用不同的外部服务地址或测试数据库等配置，以模拟真实的生产环境场景。例如，这里的KAFKA_BROKER_URL、DB_HOST等配置与开发环境有所不同，指向了专门为测试环境搭建的服务。

生产环境

  • 特点：生产环境是应用程序最终运行的环境，要求高度的稳定性、可靠性和安全性。配置应该经过严格的测试和验证，并且尽可能地优化性能和资源利用3.

  • Docker Compose 编排示例：

    version: '3.3'
    services:
    hy-asr-prod:
    image: hy-asr:v1.0
    container_name: hy-asr-server-prod
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
    - /usr/share/zoneinfo:/usr/share/zoneinfo
    - /etc/localtime:/etc/timezone:ro
    -./logs:/workspace/hy-asr/logs
    -./resources:/workspace/hy-asr/resources
    environment:
    - TZ=Asia/Shanghai
    - CUDA_DEVICE_ORDER=PCI_BUS_ID
    - CUDA_VISIBLE_DEVICES=3
    - SERVER_PORT=80
    - KAFKA_BROKER_URL=prod_kafka.example.com:9092
    - DB_USERNAME=prod_user
    - DB_PASSWORD=Prod@Passw0rd
    - DB_HOST=prod_db.example.com
    - DB_PORT=3306
    - MINIO_ENDPOINT=prod_minio.example.com:29000
    - MINIO_ACCESS_KEY=prod_admin
    - MINIO_SECRET_KEY=ProdAdmin@123!
    - MINIO_BUCKET_NAME=dida
    - MINIO_SECURE=True
    ports:
    - "8669:8666"
    restart: always
    runtime: nvidia

在生产环境中，我们使用了正式的域名和生产级别的配置，如prod_kafka.example.com、prod_db.example.com等，并且将端口映射到了标准的 HTTP 端口 80。同时，对于敏感信息如数据库密码等，应该使用更严格的安全措施进行管理，这里只是简单示例，实际生产中可能会使用加密存储或从安全的配置中心获取等方式。

四、同时启动docker-compose开发环境、测试环境、生产环境

示例：docker-compose.yml文件内容如下

XML 复制代码 
version: '3.3'
services:
  # 开发环境服务
  hy-asr-dev:
    image: hy-asr:v1.0
    container_name: hy-asr-server-dev
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
      - /usr/share/zoneinfo:/usr/share/zoneinfo
      - /etc/localtime:/etc/timezone:ro
      -./logs:/workspace/hy-asr/logs
      -./resources:/workspace/hy-asr/resources
      -../src:/workspace/hy-asr/src
    environment:
      - TZ=Asia/Shanghai
      - CUDA_DEVICE_ORDER=PCI_BUS_ID
      - CUDA_VISIBLE_DEVICES=0  # 容器可见GPU（假设服务器为多显卡，课件GPU可设置为0, 1, 2, 3）
      - SERVER_PORT=8667
# 以下是配置全局变量的值，若在项目中配置文件中有使用${... : ...}指定值，会使其替换为这里定义的全局变量值
      - KAFKA_BROKER_URL=
      - DB_USERNAME=
      - DB_PASSWORD=
      - DB_HOST=
      - DB_PORT=
      - MINIO_ENDPOINT=
      - MINIO_ACCESS_KEY=
      - MINIO_SECRET_KEY=
      - MINIO_BUCKET_NAME=
      - MINIO_SECURE=
    ports:
# 原需调用的接口为10.0.4.66:8666，映射后调用该开发环境服务接口为10.0.4.66:8667
      - "8667:8666" # 8667是在容器外的映射端口，8666是容器内项目实际需要调用服务的端口
    restart: always
    runtime: nvidia

  # 测试环境服务
  hy-asr-test:
    image: hy-asr:v1.0
    container_name: hy-asr-server-test
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
      - /usr/share/zoneinfo:/usr/share/zoneinfo
      - /etc/localtime:/etc/timezone:ro
      -./logs:/workspace/hy-asr/logs
      -./resources:/workspace/hy-asr/resources
    environment:
      - TZ=Asia/Shanghai
      - CUDA_DEVICE_ORDER=PCI_BUS_ID
      - CUDA_VISIBLE_DEVICES=2
      - SERVER_PORT=8668
      - KAFKA_BROKER_URL=
      - DB_USERNAME=
      - DB_PASSWORD=
      - DB_HOST=
      - DB_PORT=
      - MINIO_ENDPOINT=
      - MINIO_ACCESS_KEY=
      - MINIO_SECRET_KEY=
      - MINIO_BUCKET_NAME=
      - MINIO_SECURE=False
    ports:
# 原需调用的接口为10.0.4.66:8666，映射后调用该测试环境服务接口为10.0.4.66:8668
      - "8668:8666"
    restart: always
    runtime: nvidia

  # 生产环境服务
  hy-asr-prod:
    image: hy-asr:v1.0
    container_name: hy-asr-server-prod
    working_dir: /workspace/hy-asr
    command: python3 hy_asr_main.py
    volumes:
      - /usr/share/zoneinfo:/usr/share/zoneinfo
      - /etc/localtime:/etc/timezone:ro
      -./logs:/workspace/hy-asr/logs
      -./resources:/workspace/hy-asr/resources
    environment:
      - TZ=Asia/Shanghai
      - CUDA_DEVICE_ORDER=PCI_BUS_ID
      - CUDA_VISIBLE_DEVICES=3
      - SERVER_PORT=80
      - KAFKA_BROKER_URL=
      - DB_USERNAME=
      - DB_PASSWORD=
      - DB_HOST=
      - DB_PORT=
      - MINIO_ENDPOINT=
      - MINIO_ACCESS_KEY=
      - MINIO_SECRET_KEY=
      - MINIO_BUCKET_NAME=
      - MINIO_SECURE=True
    ports:
# 原需调用的接口为10.0.4.66:8666，映射后调用该生产环境服务接口为10.0.4.66:8668
      - "8669:8666"
    restart: always
    runtime: nvidia

五、配置文件全局变量的编写

配置文件可变全局变量如何定义？

如下使用 ${KAFKA_BROKER_URL:192.168.0.4:9093} 形式

复制代码 
kafka:
  broker_url: ${KAFKA_BROKER_URL:192.168.0.4:9093}
  topic_name: ${KAFKA_TOPIC_NAME:hy-asr-audio}
  consumer_topic: ${KAFKA_CONSUMER_TOPIC:hy-asr-generate}
  group_id: ${KAFKA_GROUP_ID:hy-asr}
  auto_offset_reset: ${KAFKA_AUTO_OFFSET_RESET:earliest}
  enable_auto_commit: ${KAFKA_ENABLE_AUTO_COMMIT:true} # 是否自动提交偏移量,默认为true

在 Docker Compose 文件中，我们可以使用环境变量来设置配置文件的全局变量，这样可以方便地在不同环境中切换配置，而无需修改 Docker Compose 文件本身。例如，对于KAFKA_BROKER_URL，我们可以这样设置：

复制代码 
environment:
  - KAFKA_BROKER_URL=${KAFKA_BROKER_URL:192.168.0.4:9093}

这里的 ${KAFKA_BROKER_URL:192.168.0.4:9093} 表示如果环境变量KAFKA_BROKER_URL未设置，则使用默认值192.168.0.4:9093。在实际使用中，我们可以在启动 Docker 容器之前，在主机上设置相应的环境变量，或者在 CI/CD 流程中通过脚本设置环境变量，从而实现不同环境下的配置切换。例如，在开发环境中，也可以在终端中执行 export KAFKA_BROKER_URL=dev_kafka.example.com:9092，然后再运行 docker-compose up，这样容器内的KAFKA_BROKER_URL环境变量就会使用开发环境的配置。

相关推荐
hunjinYang36 分钟前
Tomcat镜像实战：掌握Dockerfile的编写以及发布项目
docker·tomcat
好奇的菜鸟1 小时前
Docker 配置项详解与示例
运维·docker·容器
Connie14513 小时前
k8s多集群管理中的联邦和舰队如何理解？
云原生·容器·kubernetes
IT成长日记7 小时前
【Docker基础】Docker数据卷管理：docker volume inspect及其参数详解
运维·docker·容器·volume·inspect
伤不起bb7 小时前
Kubernetes 服务发布基础
云原生·容器·kubernetes
ladymorgana7 小时前
【Docker】如何设置 `wiredTigerCacheSizeGB` 和 `resources.limits.memory`
运维·docker·容器
mcdx7 小时前
基于Docker构建OrangePi5 SDK环境
docker·容器
杨浦老苏9 小时前
Docker端口映射查看工具Dockpeek
网络·docker·群晖
别骂我h10 小时前
Kubernetes服务发布基础
云原生·容器·kubernetes
weixin_3993806911 小时前
k8s一键部署tongweb企业版7049m6（by why+lqw）
java·linux·运维·服务器·云原生·容器·kubernetes
热门推荐
01Coze实战第13讲：飞书多维表格读取+豆包生图模型，轻松批量生成短剧封面02手机电脑之间快速传输图片视频文件，不压缩画质、不限制大小的方法！03Coze扣子平台完整体验和实践（附国内和国际版对比）04华为昇腾 910B 部署 DeepSeek-R1 蒸馏系列模型详细指南05免费可用！最强AI数字人对口型神器：让照片开口说话唱歌，支持多人对口型+全身动作，1分钟学会！（附保姆级教程）06扣子（coze）实战|我用扣子搭建了一个自动分析小红薯笔记内容的AI应用|详细步骤拆解072024年 最新 iPhone手机 历代机型、屏幕尺寸、纵横比、分辨率 整理08C#调用WechatOCR.exe实现本地OCR文字识别09DeepSeek各版本说明与优缺点分析10Coze平台 创建AI智能体的详细步骤指南