Hologres 使用 FDW

在 Hologres 或 PostgreSQL 中,FDW 是 Foreign Data Wrapper 的缩写。

✅ 什么是 FDW(Foreign Data Wrapper)

FDW 是 PostgreSQL 提供的一种插件机制,允许数据库通过定义 FOREIGN TABLE(外部表)的方式访问其他系统的数据。它充当 PostgreSQL 和外部数据源之间的"桥梁"或"驱动程序"。

🧠 类比:FDW 就像是"数据库驱动"(类似 JDBC 驱动),只不过它作用于表级别,让 PostgreSQL 能"看见"外部数据库的表并进行查询。


🚀 FDW 的作用

  • 允许 PostgreSQL 或 Hologres 查询其他数据库或服务中的数据,就像查询本地表一样。

  • 可以实现"联邦查询"(federated query),把多个系统的数据整合在一起分析。

  • 某些 FDW 实现支持数据写入、事务处理、下推谓词等高级功能。


🧰 常见的 PostgreSQL FDW 插件

FDW 名称 支持的数据源 是否支持写入
postgres_fdw 其他 PostgreSQL 数据库 ✅(读写)
mysql_fdw MySQL、MariaDB ✅(部分写入)
oracle_fdw Oracle 数据库 ✅(部分写入)
file_fdw CSV 文件、本地文件 ❌(只读)
mongodb_fdw MongoDB ❌ 或有限支持
odbc_fdw 任意 ODBC 支持的数据源 ❌(依赖驱动)

需要安装和配置相应的 FDW 才能使用它,比如:

sql 复制代码
CREATE EXTENSION postgres_fdw;

然后就可以创建远程服务器并定义外部表。


🔹 Hologres 中的 FDW

Hologres 也基于 PostgreSQL FDW 框架构建,但它的 FDW 插件是阿里云官方定制的,并不开放扩展插件安装。它支持以下数据源作为外部数据源:

  • MaxCompute(odps_fdw)

  • Kafka(用于流式表)

  • OSS(通过文件接口)

  • AnalyticDB、Lindorm 等

这些都内置于 Hologres,通过 CREATE FOREIGN TABLE 访问,并不需要手动安装 FDW 插件。


🧪 示例:PostgreSQL 使用 FDW 访问另一个 PostgreSQL 数据库

sql 复制代码
-- 安装扩展
CREATE EXTENSION IF NOT EXISTS postgres_fdw;

-- 创建一个外部服务器
CREATE SERVER foreign_pg_server
  FOREIGN DATA WRAPPER postgres_fdw
  OPTIONS (host '192.168.1.100', dbname 'remote_db', port '5432');

-- 创建用户映射
CREATE USER MAPPING FOR CURRENT_USER
  SERVER foreign_pg_server
  OPTIONS (user 'remote_user', password 'remote_pass');

-- 创建外部表(映射远端表)
CREATE FOREIGN TABLE remote_users (
  id INT,
  name TEXT
)
SERVER foreign_pg_server
OPTIONS (schema_name 'public', table_name 'users');

之后就可以执行:

sql 复制代码
SELECT * FROM remote_users;

就像访问本地表一样查询远程 PostgreSQL 表的数据。


✅ 总结一句话:

FDW 是 PostgreSQL(包括 Hologres)提供的一种机制,用于访问外部数据源。通过 FDW,可以把外部数据库或文件系统的数据"挂载"为本地表,从而实现跨源查询和数据整合。

相关推荐
武子康14 小时前
大数据-240 离线数仓 - 广告业务 Hive ADS 实战:DataX 将 HDFS 分区表导出到 MySQL
大数据·后端·apache hive
字节跳动数据平台1 天前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康2 天前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
字节跳动数据平台3 天前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术3 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康3 天前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康4 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天4 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
武子康6 天前
大数据-236 离线数仓 - 会员指标验证、DataX 导出与广告业务 ODS/DWD/ADS 全流程
大数据·后端·apache hive
武子康7 天前
大数据-235 离线数仓 - 实战:Flume+HDFS+Hive 搭建 ODS/DWD/DWS/ADS 会员分析链路
大数据·后端·apache hive