DBA福利:云原生分布式数据库 PolarDB-X 操作指南

DBA福利:云原生分布式数据库 PolarDB-X 操作指南

前言

作为开发者,数据库可以说与开发者息息相关,一个系统是否能够应对超高并发、海量存储、复杂查询场景,数据库的选择在其中起着决定性的作用,一款好的数据库,足以带来应用系统性能的几何级提升。那么【PolarDB-X 作为面向超高并发、海量存储、复杂查询场景设计的云原生分布式数据库系统,采用 Shared-nothing 与存储计算分离架构,支持水平扩展、分布式事务、混合负载等能力,具备企业级、云原生、高可用、高度兼容 MySQL 系统及生态等特点。】可以说是数据库选择的不二选择,另外PolarDB-X 为双十一海量数据库的处理提供强力支撑,是一款经过多种核心业务场景验证的、成熟稳定的数据库系统。

那么如何上手体验 PolarDB-X 数据库,要想上手体验 PolarDB-X 数据库,你将使用到 PXD 工具。

准备工作

在正式安装PolarDB-X 数据库之前,首先需要先安装 Python3 和 Docker,目前支持的有以下几种操作系统的环境准备工作,您可以根据自己的需要选择

有需要的可以直接去文档中查看:https://openpolardb.com/document?type=PolarDB-X 比如在windows上准备测试环境

在 Windows 上准备测试环境

Windows 平台上一般使用 WSL 来运行 PolarDB-X,那么因此需要先安装 WSL,那么在安装之前,为了便于管理安装文件,这里我在我windows系统的非系统盘创建一个文件夹 PolarDB-X 用于放置后续安装操作的文件

进入文件夹 PolarDB-X 之后,使用快捷键 Ctrl+Shift+鼠标右键,选择【在此处打开Powershell窗口】以管理员身份打开

1.安装 WSL,参考文档:https://docs.microsoft.com/en-us/windows/wsl/install ,使用默认的 Linux 发行版 Ubuntu,输入命令

powershell 复制代码
wsl --install

执行命令,等待安装结束

安装结束后需要重启电脑,重启完电脑之后继续进行后续的操作。那么准备完环境之后,就可以进行后续操作了。

安装完 WSL 之后还需要安装 Docker Desktop 、Python3、pip、MySQL 命令行工具,详细的操作大家可以参考文档中的操作即可

环境操作说明

需要注意的是,在准备工作中,以上5步中工具的安装都比较耗时,大家需要耐心等待,若是遇到下载失败的情况,建议再次尝试操作,整个过程可能会受到网络影响,因此一定需要耐心,再耐心。还有就是需要说明的是,在以上5步的操作过程中,有的操作是需要重启电脑的,为了保证安装的顺利进行,需要重启电脑的操作一定要先重启之后再进行后续的步骤操作。

安装PXD

推荐使用 virtual environment 安装 PXD 工具,执行命令

powershell 复制代码
python3 -m venv venv
source venv/bin/activate

安装前建议先执行如下命令升级 pip

powershell 复制代码
pip install --upgrade pip

执行如下命令安装 pxd

powershell 复制代码
pip install pxd

执行如下命令验证 pxd 是否安装成功

powershell 复制代码
pxd version

使用PXD一键安装PolarDB-X

PolarDB-X 企业版是分布式架构集群,支持更大数据量,面向具备企业级超高并发、大规模数据复杂查询、加速分析的业务场景。 一共有两种方式可以实现,你只需要选择其中一种即可。

方式一

直接运行 pxd tryout 命令会创建一个最新版本的 PolarDB-X 企业版集群,其中 GMS, CN, DN, CDC 节点各 1 个,执行命令

powershell 复制代码
pxd tryout

如果执行命令报错如下

powershell 复制代码
Error: pxc-tryout pxc cluster is already existing, please use `pxd delete pxc-tryout` to remove it first.

建议你按照提示执行命令

powershell 复制代码
pxd delete pxc-tryout

执行完成之后再次执行上面命令 pxd tryout 即可

方式二

你可以创建指定版本的实例,通过如下命令获取 PolarDB-X 各个组件的最新镜像tag

powershell 复制代码
curl -s "https://polardbx-opensource.oss-cn-hangzhou.aliyuncs.com/scripts/get-version.sh" | sh

通过如下命令,指定 CN,DN, CDC 节点的个数以及版本

powershell 复制代码
pxd tryout -cn_replica 1 -cn_version v2.4.0_5.4.19 -dn_replica 1 -dn_version v2.4.0_8.4.19 -cdc_replica 1 -cdc_version v2.4.0_5.4.19

tryout 模式创建的 GMS 和 DN 默认采用单副本模式,如果您想创建基于 Paxos 的三副本的集群,使用如下命令

pxd tryout -leader_only false

powershell 复制代码
pxd tryout -leader_only false

说明:【三副本模式需要 pxd版本>=0.3.0】

部署成功如下图,红框部分是PolarDB-X 数据库创建完成后输出的连接信息,其中管理员账号和密码为随机生成,自行保存

操作说明

整个部署 PolarDB-X 的过程大概需要10分钟往上,因此不要着急,耐心等待部署完成,一直等到最终的部署成功结果返回。

体验 PolarDB-X

PolarDB-X部署成功之后会输出执行命令,复制红框中的执行命令执行

powershell 复制代码
mysql -h127.0.0.1 -P51039 -upolardbx_root -pJkDXeduS

连接 PolarDB-X 服务成功之后就可以执行如下SQL 命令。

执行如下SQL语句,检查GMS

powershell 复制代码
select * from information_schema.schemata;

执行如下SQL语句,创建数据库分区表

powershell 复制代码
create database polarx_example partition_mode='partitioning';

执行如下SQL语句,使用 polarx_example 数据库

powershell 复制代码
use polarx_example;

执行如下SQL语句,创建数据表

powershell 复制代码
create table example (
  `id` bigint(11) auto_increment NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `score` bigint(11) DEFAULT NULL,
  primary key (`id`)
) engine=InnoDB default charset=utf8 
partition by hash(id) 
partitions 8;

执行 SLQ 时报错

注意:在多次检查确定 SQL 没有问题之后,后来又删除了 drop database polarx_example; 重新创建之后,发现原来没有切换为 polarx_example 数据库 导致,切换数据库之后再创建数据表就执行成功了。

向example数据表中插入数据

powershell 复制代码
insert into example values(null,'lily',375),(null,'lisa',400),(null,'ljh',500);

查询example表所有数据

powershell 复制代码
select * from example;

执行如下SQL语句,查看example数据表的分区

powershell 复制代码
show topology from example;

可以看到example数据表分布在8个分区.

执行如下SQL语句,检查CDC

powershell 复制代码
show master status;
show binlog events in 'binlog.000001' from 4;

执行如下SQL语句,检查DN和CN

powershell 复制代码
show storage;  
show mpp;

退出数据库

powershell 复制代码
exit

查看当前环境的PolarDB-X状态

powershell 复制代码
pxd list

清理本地环境所有的PolarDB-X

powershell 复制代码
pxd cleanup

源码编译安装PolarDB-X

针对于源码编译安装 PolarDB-X 的话,建议参考文档中提到的 CentOS7和Ubuntu20操作系统,准备工作参考部署文档中的操作即可,官方文档:https://openpolardb.com/document?type=PolarDB-X 下面我们开始执行源码编译安装 PolarDB-X 操作。

编译 PolarDB-X DN

这里的 DN 就是存储节点,代号polardbx-engine 首先需要安装依赖(CentOS7),这里示例内容为 CentOS7 安装依赖,执行命令 安装 cmake3

powershell 复制代码
yum install cmake3
ln -s /usr/bin/cmake3 /usr/bin/cmake

安装GCC7

执行命令 安装GCC7

powershell 复制代码
yum install centos-release-scl
yum install devtoolset-7-gcc devtoolset-7-gcc-c++ devtoolset-7-binutils
echo "source /opt/rh/devtoolset-7/enable" >>/etc/profile

最后执行命令,安装依赖

powershell 复制代码
yum install make automake git openssl-devel ncurses-devel bison libaio-devel

到这里依赖安装完成之后,就可以进行后续操作。下面开始编译安装 polardbx-engine ,依次执行以下命令,下载过程较慢,需要耐心等待

这里建议您可以一次性把准备工作中需要的四个源码都下载了,下载命令如下

powershell 复制代码
git clone https://github.com/polardb/polardbx-engine.git
git clone https://github.com/polardb/polardbx-sql.git
git clone https://github.com/polardb/polardbx-glue.git
git clone https://github.com/polardb/polardbx-cdc.git

执行结果依次如图,其中 polardbx-engine 比较大,下载耗时最久



继续执行后面操作 编译安装 polardbx-engine

powershell 复制代码
# 进入 polardbx-engine 代码路径
cd polardbx-engine

# 安装boost1.70 (注:把boost放到仓库里避免下载)
wget https://boostorg.jfrog.io/artifactory/main/release/1.70.0/source/boost_1_70_0.tar.gz
mkdir extra/boost
cp boost_1_70_0.tar.gz extra/boost/

# 编译安装
# 详细参数请参考 https://dev.mysql.com/doc/refman/8.0/en/source-configuration-options.html
cmake .                                   \
    -DFORCE_INSOURCE_BUILD=ON           \
    -DCMAKE_BUILD_TYPE="Debug"          \
    -DSYSCONFDIR="/u01/mysql"           \
    -DCMAKE_INSTALL_PREFIX="/u01/mysql" \
    -DMYSQL_DATADIR="/u01/mysql/data"   \
    -DMYSQL_MAINTAINER_MODE=0           \
    -DWITH_SSL=openssl                  \
    -DWITH_BOOST="./extra/boost/boost_1_70_0.tar.gz"
make -j8
make install

在执行过程中,报错了,提示如下

执行报错信息中命令

powershell 复制代码
yum install devtoolset-11-gcc devtoolset-11-gcc-c++ devtoolset-11-binutils

执行完成后重新执行上面的 cmake 命令及后续,后续的安装也按照官方文档中的描述进行即可,这里需要注意的是在 编译和安装polardbx-sql & polardbx-glue代码 时,需要先安装 安装依赖 JDK 1.8 和 Maven 3。

本文主要是使用 PXD 一键安装 PolarDB-X 。个人觉得通过源码编译安装 PolarDB-X 真的是相当费时间,且中途由于命令行比较多,很容易出错,且有时候并不是文档中命令行的错误,而是由于环境不同导致的报错,对于有错误提示解决办法的可以按解决办法执行,对于没有提示解决办法的,个人去搜索查找就比较耗时,且不是很容易找到解决方案。因此个人建议还是使用第一种方案,使用 PXD 一键安装 PolarDB-X 比较方便易操作。

体验感受

到这里关于 PolarDB-X 环境准备以及 PXD的安装、PolarDB-X 的部署操作就都完成了,整体上按照文档中提供的操作基本上没有问题,只是在操作中需要注意操作步骤顺序,漏操作可能会导致部署失败。另外关于 PolarDB-X 数据库的 SQL 操作,正如 PolarDB-X 的产品介绍中提到的一样【高度兼容 MySQL 系统及生态】,确实是兼容,SQL 语法及使用习惯上完全没有变化,因此这一点对于开发者来说也是极大的便利。对于开发者来说,只需要切换数据库连接路径中的ip地址及端口即可,在使用上并没有什么变化,极大的降低了开发者对云原生分布式数据库 PolarDB-X 的学习成本,甚至可以说是0成本接入 云原生分布式数据库 PolarDB-X。

相关推荐
广州智造3 小时前
OptiStruct实例:3D实体转子分析
数据库·人工智能·算法·机器学习·数学建模·3d·性能优化
技术宝哥6 小时前
Redis(2):Redis + Lua为什么可以实现原子性
数据库·redis·lua
学地理的小胖砸7 小时前
【Python 操作 MySQL 数据库】
数据库·python·mysql
dddaidai1237 小时前
Redis解析
数据库·redis·缓存
数据库幼崽7 小时前
MySQL 8.0 OCP 1Z0-908 121-130题
数据库·mysql·ocp
Amctwd8 小时前
【SQL】如何在 SQL 中统计结构化字符串的特征频率
数据库·sql
betazhou8 小时前
基于Linux环境实现Oracle goldengate远程抽取MySQL同步数据到MySQL
linux·数据库·mysql·oracle·ogg
lyrhhhhhhhh9 小时前
Spring 框架 JDBC 模板技术详解
java·数据库·spring
喝醉的小喵10 小时前
【mysql】并发 Insert 的死锁问题 第二弹
数据库·后端·mysql·死锁
付出不多11 小时前
Linux——mysql主从复制与读写分离
数据库·mysql