Postgresql 从小白到高手 十一 :数据迁移ETL方案


文章目录

  • [Postgresql 数据迁移ETL方案](#Postgresql 数据迁移ETL方案)
    • [1、Pg 同类型数据库](#1、Pg 同类型数据库)
    • [2 、Pg 和 不同数据库](#2 、Pg 和 不同数据库)

Postgresql 数据迁移ETL方案

1、Pg 同类型数据库

备份 :

复制代码
 pg_dump -U username -d dbname -f backup.sql

插入数据:

复制代码
psql -U username -d dbname -f backup.sql

pg_restore -U username -d dbname -t table_name backup.sql

创建指向他处数据源的外部表:

复制代码
CREATE FOREIGN TABLE external_table (
    id INT,
    name VARCHAR(50)
) SERVER external_server OPTIONS (table_name 'external_data');

pgAdmin 表同步

使用Sschme Diff 工具

2 、Pg 和 不同数据库

FDW (外部数据包装器)

复制代码
CREATE SERVER foreign_server
   FOREIGN DATA WRAPPER postgres_fdw
   OPTIONS (host 'foreign_server_ip', port '5432', dbname 'foreign_dbname');

CREATE USER MAPPING FOR local_user
    SERVER foreign_server
    OPTIONS (user 'foreign_user', password 'foreign_password');

外部表

复制代码
CREATE FOREIGN TABLE local_table (
    id INT,
    name VARCHAR(50)
) SERVER foreign_server OPTIONS (table_name 'remote_table');

当建立好外部数据包装器和外部表时,我们就可以在pg上查询外部表数据了,这个时候我们用存过将外部数据表的数据批处理转换为我们内部表所需数据,校正格式。任何数据在处理前,一定考虑好备份方案。

存过参考我们前面的第七、八、九章内容。

相关推荐
牢七3 分钟前
jfinal_cms-v5.1.0
数据库
m0_612535994 分钟前
redis入门到精通
数据库·redis·缓存
Kethy__13 分钟前
计算机中级-数据库系统工程师-数据结构-树与二叉树(2)
数据结构·数据库·软考··计算机中级
gjc59232 分钟前
零基础OceanBase数据库入门(2):查看集群基本信息
数据库·oceanbase
boonya38 分钟前
Embedding模型与向量维度动态切换完整方案
java·数据库·embedding·动态切换大模型
运维行者_38 分钟前
使用 Applications Manager 实现 AWS 云监控:保障业务应用高效运行
大数据·运维·服务器·网络·数据库·云计算·aws
lifewange1 小时前
postman接口自动化如何进行参数化
数据库·自动化·postman
刘~浪地球1 小时前
Redis 从入门到精通(三):键操作命令详解
数据库·redis·缓存
高梦轩1 小时前
MySQL 故障排查与优化
数据库·mysql
吴声子夜歌2 小时前
Node.js——操作MySQL数据库
数据库·mysql·node.js