利用AWS batch备份PostgreSql数据库到S3

这里只是关键步骤,使用需要对PostgreSql,docker,aws有一定的了解。

PostgreSql 数据备份和恢复

备份PostgreSql数据库成二进制文件(压缩率高)
  • 利用pg_dump备份
r 复制代码
pg_dump  -h {pg_host} -U {pg_username} -d {pg_database} -F c -f {pg_backupfile}
恢复
  • 恢复时候首先需要创建数据库
ini 复制代码
CREATE DATABASE {pg_database};
  • 利用pg_restore直接还原二进制文件备份文件到相应的数据库。

    pg_restore -h {pg_host} -U {pg_username} -d {pg_database} {pg_backupfile}

利用AWS batch备份PostgreSql数据库到S3

有了上面的基础我们就可以利用aws batch 实现数据库的备份

  • 首先我们写一个Dockerfile(这里aws的权限直接使用batch的配置,所以没在docker里面配置)
bash 复制代码
FROM ubuntu
RUN apt update
RUN apt install postgresql-client unzip curl -y
RUN curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
RUN unzip awscliv2.zip
RUN ./aws/install
RUN ./aws/install --bin-dir /usr/local/bin --install-dir /usr/local/aws-cli --update
COPY ./postgresql_backup.sh .
RUN  chmod +x postgresql_backup.sh
  • 下面是Dockerfile 用到的sh脚本 (里面用到了batch环境变量,不使用batch直接替换成明文即可)
bash 复制代码
#!/bin/bash
echo "start"
echo $pg_host
echo $pg_username
echo $pg_database
echo $pg_backupfile
echo $pg_s3_path
aws --version
export PGPASSWORD=$pg_password
pg_dump  -h $pg_host -U $pg_username -d $pg_database -F c -f $pg_backupfile
aws s3 cp $pg_backupfile $pg_s3_path
echo "end"
  • 这时候可以本地自己生成images放到AWS ECR. 也可以使用gitlab的CI/CD. 下面是.gitlab-ci.yml 参考

CI/CD环境请自行配置

css 复制代码
stages:
    - dockerimage

dockerize:
    stage: dockerimage
    script:
        - aws --version
        - echo `aws ecr get-login --registry-ids {aws_account_id} --no-include-email --region <region>`
        - docker buildx build --file Dockerfile --pull --tag <aws_account_id>.dkr.ecr.<region>.amazonaws.com/postgresql_backup:$CI_COMMIT_TAG --build-arg VersionSuffix=$CI_COMMIT_TAG --push .
    tags:
        - linux
    only:
        - tags

AWS Batch简单配置

任务运行命令,以及环境变量

Job command : ["/bin/bash","./postgresql_backup.sh"]

Job environment variable:

key value
pg_backupfile
pg_s3_path
pg_username
pg_host
pg_password
pg_database
相关推荐
SelectDB10 小时前
SelectDB 在 AWS Graviton ARM 架构下相比 x86 实现 36% 性价比提升
大数据·架构·aws
运维开发王义杰1 天前
金融安全生命线:用AWS EventBridge和CloudTrail构建主动式入侵检测系统
安全·金融·aws
长征coder2 天前
AWS MySQL 读写分离配置指南
mysql·云计算·aws
墨痕诉清风3 天前
OpenSearch添加仪表盘(elastic、es)
aws·es·waf·opensearch·elastic
sealaugh323 天前
aws(学习笔记第四十八课) appsync-graphql-dynamodb
笔记·学习·aws
moppol4 天前
Serverless 架构入门与实战:AWS Lambda、Azure Functions、Cloudflare Workers 对比
云原生·serverless·aws
观测云4 天前
观测云 × AWS SSO:权限治理可观测实践
云计算·aws
在云上(oncloudai)4 天前
AWS Directory Services全解析
aws
_可乐无糖4 天前
AWS WebRTC: 判断viewer端拉流是否稳定的算法
linux·服务器·webrtc·aws
AWS官方合作商13 天前
AWS ACM 重磅上线:公有 SSL/TLS 证书现可导出,突破 AWS 边界! (突出新功能的重要性和突破性)
服务器·https·ssl·aws