利用AWS batch备份PostgreSql数据库到S3

这里只是关键步骤,使用需要对PostgreSql,docker,aws有一定的了解。

PostgreSql 数据备份和恢复

备份PostgreSql数据库成二进制文件(压缩率高)
  • 利用pg_dump备份
r 复制代码
pg_dump  -h {pg_host} -U {pg_username} -d {pg_database} -F c -f {pg_backupfile}
恢复
  • 恢复时候首先需要创建数据库
ini 复制代码
CREATE DATABASE {pg_database};
  • 利用pg_restore直接还原二进制文件备份文件到相应的数据库。

    pg_restore -h {pg_host} -U {pg_username} -d {pg_database} {pg_backupfile}

利用AWS batch备份PostgreSql数据库到S3

有了上面的基础我们就可以利用aws batch 实现数据库的备份

  • 首先我们写一个Dockerfile(这里aws的权限直接使用batch的配置,所以没在docker里面配置)
bash 复制代码
FROM ubuntu
RUN apt update
RUN apt install postgresql-client unzip curl -y
RUN curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
RUN unzip awscliv2.zip
RUN ./aws/install
RUN ./aws/install --bin-dir /usr/local/bin --install-dir /usr/local/aws-cli --update
COPY ./postgresql_backup.sh .
RUN  chmod +x postgresql_backup.sh
  • 下面是Dockerfile 用到的sh脚本 (里面用到了batch环境变量,不使用batch直接替换成明文即可)
bash 复制代码
#!/bin/bash
echo "start"
echo $pg_host
echo $pg_username
echo $pg_database
echo $pg_backupfile
echo $pg_s3_path
aws --version
export PGPASSWORD=$pg_password
pg_dump  -h $pg_host -U $pg_username -d $pg_database -F c -f $pg_backupfile
aws s3 cp $pg_backupfile $pg_s3_path
echo "end"
  • 这时候可以本地自己生成images放到AWS ECR. 也可以使用gitlab的CI/CD. 下面是.gitlab-ci.yml 参考

CI/CD环境请自行配置

css 复制代码
stages:
    - dockerimage

dockerize:
    stage: dockerimage
    script:
        - aws --version
        - echo `aws ecr get-login --registry-ids {aws_account_id} --no-include-email --region <region>`
        - docker buildx build --file Dockerfile --pull --tag <aws_account_id>.dkr.ecr.<region>.amazonaws.com/postgresql_backup:$CI_COMMIT_TAG --build-arg VersionSuffix=$CI_COMMIT_TAG --push .
    tags:
        - linux
    only:
        - tags

AWS Batch简单配置

任务运行命令,以及环境变量

Job command : ["/bin/bash","./postgresql_backup.sh"]

Job environment variable:

key value
pg_backupfile
pg_s3_path
pg_username
pg_host
pg_password
pg_database
相关推荐
王道长服务器 | 亚马逊云2 小时前
如何利用 AWS 服务器优化跨境电商和 SEO 战略?
云计算·aws
GSDjisidi2 小时前
东京本社招聘 | 财务负责人 & 多个日本IT岗位(Java/C++/Python/AWS 等),IT营业同步招募
java·开发语言·aws
在云上(oncloudai)3 小时前
AWS ALB 详解:智能流量调度器
云计算·aws
可观测性用观测云16 小时前
AWS SQS 可观测性最佳实践
aws
练习两年半的工程师18 小时前
AWS TechFest 2025: 智能体企业级开发流程、Strands Agents
人工智能·云计算·aws
thinktik2 天前
还在手把手教AI写代码么? 让你的AWS Kiro AI IDE直接读飞书需求文档给你打工吧!
后端·serverless·aws
Amy_au4 天前
Dotnet 项目手动部署到AWS 和Github action CICD 流程总结
云计算·aws
我不是小upper4 天前
使用 Terraform、AWS 和 Python 构建无服务器实时数据管道
serverless·aws·terraform
运维开发王义杰5 天前
信息安全:GitLab与AWS OIDC集成的深度解析,IAM信任策略中的条件配置
云计算·gitlab·aws
阿雄不会写代码6 天前
python-pptx 库(最常用,适合生成/修改 PPT 文件)
云计算·aws