探索ClickHouse——使用MaterializedPostgreSQL同步PostgreSQL数据库

安装PostgreSQL

bash 复制代码
sudo apt install postgresql

修改配置

bash 复制代码
sudo vim /etc/postgresql/14/main/postgresql.conf 

解开并修改wal_level 的配置项

wal_level = logical

重启服务

bash 复制代码
/etc/init.d/postgresql restart

Restarting postgresql (via systemctl): postgresql.service==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units ===

Authentication is required to restart 'postgresql.service'.

Multiple identities can be used for authentication:

  1. fangliang
  2. , (kafka)

Choose identity to authenticate as (1-2): 1

Password:

==== AUTHENTICATION COMPLETE ===

.

设置密码

切换用户

bash 复制代码
sudo su - postgres

使用下面命令进入PostgreSQL命令行交互页面

bash 复制代码
psql

输入下面命令设置密码为postgres_pwd

bash 复制代码
\password postgres

Enter new password for user "postgres":

Enter it again:

创建数据库和表

使用下面命令创建数据库

bash 复制代码
CREATE DATABASE test_db;
\c test_db
CREATE TABLE accounts(user_id INT PRIMARY KEY, username VARCHAR(50) UNIQUE NOT NULL, password VARCHAR(50) NOT NULL, email VARCHAR(255) UNIQUE NOT NULL);

数据同步

开启一个新的窗口,使用下面指令进入交互页面

bash 复制代码
clickhouse-client

创建表

bash 复制代码
CREATE TABLE postgresql_replica(user_id UInt64, username String, password String, email String) ENGINE = MaterializedPostgreSQL('127.0.0.1:5432', 'test_db', 'accounts', 'postgres', 'postgres_pwd') PRIMARY KEY user_id;

CREATE TABLE postgresql_replica

(
user_id UInt64,
username String,
password String,
email String

)

ENGINE = MaterializedPostgreSQL('127.0.0.1:5432', 'test_db', 'accounts', 'postgres', 'postgres_pwd')

PRIMARY KEY user_id

Query id: 16f796bc-e979-47b4-8f1c-33471cfd7b12

0 rows in set. Elapsed: 0.013 sec.

Received exception from server (version 23.7.5):

Code: 1001. DB::Exception: Received from localhost:9000. DB::Exception: pqxx::sql_error: ERROR: logical decoding requires wal_level >= logical

. (STD_EXCEPTION)

数据库写入数据

在psql的交互页面输入

bash 复制代码
INSERT INTO accounts(user_id, username, password, email) VALUES(0, 'fangliang', 'pwd', 'fangliang@123.com');

检查数据

bash 复制代码
select * from accounts;

user_id | username | password | email

---------±----------±---------±------------------

0 | fangliang | pwd | fangliang@123.com

(1 row)

ClickHouse同步数据

在clickhouse-client交互页面输入

bash 复制代码
select * from postgresql_replica;

SELECT *

FROM postgresql_replica

Query id: eef3fc8e-82ce-4e69-bf0b-0c2afe047daf

┌─user_id─┬─username──┬─password─┬─email─────────────┐

│ 0 │ fangliang │ pwd │ fangliang@123.com

└─────────┴───────────┴──────────┴───────────────────┘

1 row in set. Elapsed: 0.012 sec.

参考资料

相关推荐
麦兜*9 小时前
MongoDB 常见错误解决方案:从连接失败到主从同步问题
java·数据库·spring boot·redis·mongodb·容器
RestCloud9 小时前
PostgreSQL大表同步优化:如何避免网络和内存瓶颈?
前端·数据库·api
阿里云大数据AI技术9 小时前
淘宝闪购基于Flink&Paimon的Lakehouse生产实践:从实时数仓到湖仓一体化的演进之路
数据库·flink
努力学习的小廉9 小时前
深入了解linux系统—— 线程同步
linux·服务器·数据库·算法
格调UI成品9 小时前
DCS+PLC协同优化:基于MQTT的分布式控制系统能效提升案例
数据库·云边协同
牵牛老人10 小时前
Qt C++ 复杂界面处理:巧用覆盖层突破复杂界面处理难题之一
数据库·c++·qt
GBASE10 小时前
GBASE南大通用技术分享:构建最优数据平台,GBase 8s数据库安装准备(三)
数据库
言之。11 小时前
Django REST Framework 中 @action 装饰器详解
数据库·sqlite
十八旬12 小时前
苍穹外卖项目实战(day7-1)-缓存菜品和缓存套餐功能-记录实战教程、问题的解决方法以及完整代码
java·数据库·spring boot·redis·缓存·spring cache
要一起看日出14 小时前
MVCC-多版本并发控制
数据库·mysql·mvcc