Mysql--运维篇--主从复制和集群（主从复制I/O线程，SQL线程，二进制日志，中继日志，集群NDB）

weisian1512025-01-13 11:41

一、主从复制

MySQL的主从复制（Master-Slave Replication）是一种数据冗余和高可用性的解决方案，它通过将一个或多个从服务器（Slave）与主服务器（Master）同步来实现。主从复制的基本原理是：在主服务器上记录所有的数据变更操作（如INSERT、UPDATE、DELETE等），然后这些变更被传输到从服务器，并在从服务器上重放这些操作，从而保持数据的一致性。

1、主从复制的工作原理

（1）、二进制日志 (Binary Log)
  • 主服务器上的所有更改都会被记录到二进制日志中。
  • 二进制日志包含所有对数据库结构或数据进行更改的操作，以及每个事件的时间戳和执行时间。
（2）、I/O线程(IO Thread)
  • 从服务器启动一个I/O线程连接到主服务器，并请求获取二进制日志中的更新。
  • 主服务器接收到这个请求后，会创建一个二进制日志转储线程（Binlog Dump Thread），将二进制日志的内容发送给从服务器的I/O线程。
  • I/O线程接收到的数据会被写入到从服务器的中继日志（Relay Log）中。
（3）、SQL线程(SQL Thread)
  • 从服务器上的SQL线程读取中继日志中的事件，并在本地数据库上重放这些事件，以使从服务器的数据与主服务器保持一致。
  • SQL线程可以并行地应用多个表上的事件，提高复制效率（取决于配置和MySQL版本）。
（4）、位置跟踪
  • 为了确保从服务器能够正确地应用主服务器上的所有更改，主服务器和从服务器之间需要维持一个位置跟踪机制。通常，这通过二进制日志文件名和位置（即日志序列号，LSN）来实现。
  • 每个从服务器都有自己的master.info文件，其中保存了当前正在读取的主服务器二进制日志的位置信息。
（5）、心跳检测
  • 从服务器定期向主服务器发送心跳包，以监测连接状态。
  • MySQL 5.7引入了半同步复制，其中主服务器只有在至少一个从服务器确认已经接收到并记录下最新的二进制日志事件之后才会提交事务。这种方式提高了数据的安全性和一致性。

2、实现主从复制的步骤

准备工作：

  • 备份主服务器：确保主服务器上有最新的备份，以便在出现问题时可以从备份中恢复。
  • 确定主服务器的二进制日志位置：在开始复制之前，记录下主服务器当前的二进制日志文件名和位置。可以通过SHOW MASTER STATUS;命令查看。
（1）、配置主服务器

1、启用二进制日志

确保主服务器配置文件（通常是my.cnf或my.ini）中有以下设置。
配置示例：

java 复制代码 
[mysqld]
server-id=1
log-bin=mysql-bin

解释：

  • server-id必须为唯一的正整数（主从集群中不能重复），用于标识每个服务器实例。
  • log-bin指定了二进制日志的前缀名称。

2、重启MySQL服务

使配置生效。
命令示例：

java 复制代码 
systemctl restart mysqld;

3、创建复制用户

在主服务器上创建一个专门用于复制的用户，并授予适当的权限。
sql示例：

java 复制代码 
CREATE USER 'replication_user'@'%' IDENTIFIED with mysql_native_password BY 'password';
GRANT REPLICATION SLAVE ON *.* TO 'replication_user'@'%';
FLUSH PRIVILEGES;

解释：

  • 创建用户replication_user，%表示用户可以通过任何ip地址连接到Mysql，使用密码password认证。
  • 授予复制所需的权限给replication_user用户。
  • 刷新权限，使更改立即生效
（2）、配置从服务器

1、设置唯一server-id

在从服务器的配置文件中设置不同的server-id值，例如server-id=2。确保每个从服务器的server-id都是唯一的。

2、指定主服务器信息

使用CHANGE MASTER TO命令配置从服务器连接到主服务器的信息，包括主机名、端口、用户名、密码以及二进制日志文件名和位置。
sql示例：

java 复制代码 
 CHANGE MASTER TO
  MASTER_HOST='master_host_ip',
  MASTER_USER='replication_user',
  MASTER_PASSWORD='password',
  MASTER_LOG_FILE='mysql-bin.000001',
  MASTER_LOG_POS=12345;

注意：

这里的MASTER_LOG_FILE和MASTER_LOG_POS应该对应于你在主服务器上记录的二进制日志位置。

3、启动复制

执行START SLAVE;命令启动复制进程。你可以使用SHOW SLAVE STATUS;检查复制的状态，确保没有错误。

（3）、验证复制
  • 测试数据同步：在主服务器上插入一些测试数据，然后检查从服务器是否也有了相同的数据。
  • 监控复制状态：定期使用SHOW SLAVE STATUS;检查从服务器的复制状态，特别关注以下几个字段：
    • Slave_IO_Running: 应该是Yes，表示I/O线程正在运行。
    • Slave_SQL_Running: 应该是Yes，表示SQL线程正在运行。
    • Last_Error: 如果为空，则说明没有遇到错误。
    • Seconds_Behind_Master: 显示从服务器落后主服务器的秒数，理想情况下应接近0。

示例：

java 复制代码 
SHOW SLAVE STATUS;

运行结果：

（4）、注意事项
  • 网络稳定性：确保主服务器和从服务器之间的网络连接稳定可靠，因为任何中断都可能导致复制失败。
  • 性能影响：虽然主从复制本身不会显著影响主服务器的性能，但在高并发写入的情况下，可能会增加一些负担。因此，合理规划硬件资源和优化查询非常重要。
  • 延迟问题：由于网络延迟或其他因素，从服务器可能会落后于主服务器。如果延迟过大，可能需要考虑调整复制策略或优化系统配置。
  • 安全性：保护好复制用户的凭据，避免泄露，并且只赋予必要的权限。
  • 故障转移：当主服务器发生故障时，可以手动将从服务器提升为主服务器，但这通常涉及到更复杂的配置和管理，比如设置自动故障转移机制或者使用集群技术。

二、集群

MySQL集群（MySQL Cluster）是一种高可用性和可扩展性的解决方案，它通过分布式的架构来提供数据冗余、故障转移和负载均衡。MySQL Cluster使用NDB（Network Database）存储引擎，这与传统的InnoDB或MyISAM存储引擎不同，NDB是专门为分布式环境设计的。

原理示意图：

1、MySQL Cluster的核心组件

（1）、管理节点(Management Node)：
  • 管理节点负责配置和监控整个集群的状态。它不直接参与数据处理，而是作为集群的"大脑"，协调其他节点的工作。
  • 每个管理节点运行ndb_mgmd守护进程，并且通常建议至少有两个管理节点以实现高可用性。
（2）、数据节点(Data Node)：
  • 数据节点是存储实际数据的片段。为了保证高可用性，每个数据副本都会被分片并分布在多个数据节点上。即使某个节点发生故障，其他节点仍然可以继续提供服务。
  • 数据节点运行ndbd或ndbmtd守护进程（多线程版本）。根据硬件资源和性能需求，可以选择单线程或多线程模式。
（3）、SQL节点(SQL Node)
  • SQL节点是应用程序与MySQL Cluster交互的接口。它们执行SQL查询并将结果返回给客户端。SQL节点可以是普通的MySQL服务器实例，运行mysqld守护进程。
  • 一个集群中可以有多个SQL节点，以便于负载均衡和提高并发处理能力。
（4）、API节点(API Node)
  • API节点允许应用程序通过编程接口（如C++、Java等）直接访问NDB存储引擎，而不需要经过SQL解析层。这对于某些高性能要求的应用场景非常有用。
  • API节点不是必须的，但提供了额外的灵活性和性能优势。

2、MySQL Cluster的工作原理

  • 数据分片 (Sharding)：MySQL Cluster采用哈希分片的方式将表中的行分配到不同的数据节点。每个分片都包含至少一份完整的数据副本，确保了即使某个节点失效，数据仍然可用。
  • 同步复制：所有写操作都会立即同步到所有的数据副本上，确保了数据的一致性。读操作可以在任意一个数据节点上执行，因为每个节点都持有相同的数据副本。
  • 自动故障检测和恢复：管理节点会定期检查各个数据节点的健康状态。如果发现某个节点不可用，它会自动将流量重新路由到健康的节点，并尝试重启失败的节点。
  • 在线扩展：可以通过添加新的数据节点和SQL节点来水平扩展集群，而无需停机。这使得MySQL Cluster非常适合需要动态调整资源的应用场景。

3、配置和部署MySQL Cluster

（1）、安装软件包

首先，你需要安装MySQL Cluster的相关软件包。可以从官方MySQL网站（https://dev.mysql.com/downloads/cluster/）下载适用于你操作系统的安装包，或者使用包管理器进行安装。

需要下载和安装的软件包括：

1、MySQL Cluster管理节点(Management Node)软件包

  • mysql-cluster-community-management-server（对于社区版）
  • mysql-cluster-enterprise-management-server（对于企业版）
    这些软件包包含了管理节点所需的ndb_mgmd守护进程，用于配置和监控集群。

2、MySQL Cluster数据节点(Data Node)软件包

  • mysql-cluster-community-data-node（对于社区版）
  • mysql-cluster-enterprise-data-node（对于企业版）
    这些软件包包含了数据节点所需的ndbd或ndbmtd守护进程，用于存储和处理数据。ndbmtd是多线程版本，适用于高性能需求的场景。

3、MySQL Cluster SQL节点(SQL Node)软件包

  • mysql-cluster-community-server（对于社区版）
  • mysql-cluster-enterprise-server（对于企业版）
    这些软件包包含了标准的MySQL服务器(mysqld)，并且启用了对NDB存储引擎的支持。SQL 节点是应用程序与MySQL Cluster交互的接口，负责解析SQL 查询并将结果返回给客户端。

4、MySQL Cluster客户端工具(Client Tools)

  • mysql-client 或 mysql-cluster-community-client（对于社区版）
  • mysql-cluster-enterprise-client（对于企业版）
    这些软件包提供了常用的 MySQL 客户端工具，如mysql命令行客户端、mysqladmin等，用于管理和操作MySQL Cluster。

5、MySQL Cluster开发库(Development Libraries)

  • mysql-cluster-community-devel（对于社区版）
  • mysql-cluster-enterprise-devel（对于企业版）
    这些软件包包含了开发库和头文件，允许你编写使用NDB API的应用程序，直接与NDB存储引擎进行交互。

6、MySQL Cluster备份工具(Backup Tools)

  • mysql-cluster-community-backup（对于社区版）
  • mysql-cluster-enterprise-backup（对于企业版）
    这些软件包提供了专门的备份工具，帮助你管理和恢复 MySQL Cluster 的数据。

7、MySQL Cluster监控工具(Monitoring Tools)

  • mysql-cluster-community-monitor（对于社区版）
  • mysql-cluster-enterprise-monitor（对于企业版）
    这些软件包提供了监控工具，帮助你实时监控 MySQL Cluster 的状态和性能。
（2）、配置管理节点

编辑配置文件（通常是config.ini），定义集群的拓扑结构，包括管理节点、数据节点和SQL节点的数量及地址。

示例：

java 复制代码 
[NDBD DEFAULT]
NoOfReplicas=2
DataMemory=800M
IndexMemory=184M

[TCP DEFAULT]

[MYSQLD]
# 可以添加多个SQL节点
[MYSQLD]

[NDB_MGMD]
NodeId=1
HostName=management_node_ip

[NDBD]
NodeId=2
HostName=data_node_1_ip

[NDBD]
NodeId=3
HostName=data_node_2_ip
（3）、启动管理节点

在管理节点上启动管理守护进程：

java 复制代码 
ndb_mgmd -f /path/to/config.ini --initial

--initial选项用于初始化配置，之后可以省略。

（4）、启动数据节点

在每个数据节点上启动数据守护进程：

java 复制代码 
ndbd

对于多线程版本，使用ndbmtd命令。

（5）、配置SQL节点

在每个SQL节点上，编辑MySQL配置文件（my.cnf或my.ini），指定集群连接参数：

java 复制代码 
[mysqld]
ndbcluster
ndb-connectstring=management_node_ip

然后启动MySQL服务。

（6）、创建数据库和表

登录到任何一个SQL节点，创建数据库和表，并指定使用NDB存储引擎：
示例：

java 复制代码 
CREATE DATABASE my_cluster_db;
USE my_cluster_db;

CREATE TABLE my_table (
    id INT NOT NULL AUTO_INCREMENT,
    name VARCHAR(50),
    PRIMARY KEY (id)
) ENGINE=NDBCLUSTER;

4、监控和维护

  • 管理命令：使用ndb_mgm工具可以连接到管理节点，查看集群状态、停止或启动节点等。例如：
java 复制代码 
ndb_mgm
show

  • 日志分析：检查管理节点和数据节点的日志文件，了解集群的运行情况和潜在问题。

  • 性能优化：根据应用的需求，调整配置参数（如内存分配、线程数等），以获得最佳性能。

  • 备份和恢复：定期备份集群数据，并制定灾难恢复计划。可以使用mysqldump工具或NDB专用的备份工具。

5、注意事项

  • 网络要求：MySQL Cluster对网络延迟非常敏感，因此建议使用低延迟、高带宽的网络连接。此外，尽量减少跨广域网（WAN）的部署，除非你已经采取了适当的措施来保证网络稳定性。

  • 资源消耗：由于数据会被复制到多个节点，MySQL Cluster会占用更多的磁盘空间和内存资源。确保你的硬件配置能够满足集群的需求。

  • 适用场景：虽然MySQL Cluster提供了高可用性和可扩展性，但它并不适合所有类型的应用。特别是对于那些涉及大量复杂查询、事务或大对象存储的应用，可能需要考虑其他解决方案。

  • 版本兼容性：确保所有节点使用相同的MySQL Cluster版本，以避免兼容性问题。

乘风破浪会有时，直挂云帆济沧海！！！

相关推荐
whisperrr.2 分钟前
Java Web开发基础：HTML的深度解析与应用
mysql
NightReader9 分钟前
Ubuntu 24.04蓝牙失效之复活
linux·运维·ubuntu
S-X-S13 分钟前
SQL美化器优化
数据库·sql
老大白菜14 分钟前
VB.NET 正则表达式完全指南
mysql·正则表达式·.net
Whacky-u15 分钟前
Hive SQL必刷练习题：连续问题 & 间断连续
大数据·数据库·数据仓库·sql
Lang_xi_15 分钟前
汇总统计数据--SQL中聚集函数的使用
数据库·mysql
全镇人的希望15 分钟前
oarcle执行报错提示：SQL 错误 [1839] [22008]: ORA-01839: 指定月份的日期无效问题解决
数据库·sql
百香果果ccc17 分钟前
SQL中的公用表表达式
数据库·sql
苹果醋32 小时前
MySQL Binlog 同步工具go-mysql-transfer Lua模块使用说明
java·运维·spring boot·mysql·nginx
csdn5659738502 小时前
SQL分类与数据类型整理
数据库·sql·oracle
热门推荐
01密码学原理技术-第六章-introduction to pulibc-key cryptography02ESP-IDF学习记录（4） ESP-IDF examples目录03半导体应用系统一些小知识收集(strip&wafer mapping,EAP&scada)04模型、算法、数据模型、模型结构是什么？它们之间有什么关联和区别？05Dell服务器升级ubuntu 22.04失败解决06优化手机性能，解决卡顿问题：关闭这3个微信开关，释放内存空间07基于机器学习的旅游景区评论情感分析算法设计与实现08渗透测试之SQLMAP工具详解 kali自带SQLmap解释 重点sqlmap --tamper 使用方式详解 搞完你就很nice了09HCIA-datacom数通题库和录播视频资料10go下载依赖提示连接失败