K8S核心组件etcd详解（上）

singless2332023-08-18 21:43

1 介绍

https://etcd.io/docs/v3.5/

etcd是一个高可用的分布式键值存储系统，是CoreOS（现在隶属于Red Hat）公司开发的一个开源项目。它提供了一个简单的接口来存储和检索键值对数据，并使用Raft协议实现了分布式一致性。etcd广泛应用于Docker、Kubernetes等分布式系统中，用于存储配置信息、服务发现、领导者选举等方面。

2 etcd高可用集群部署

2.1 服务器配置

主机名 ip地址 cpu数量 内存数量
etcd1 172.18.101.39 4 8
etcd2 172.18.101.40 4 8
etcd3 172.18.101.41 4 8

2.2 部署etcd集群

安装包下载地址

https://github.com/etcd-io/etcd/tags

以下操作在三个etcd节点上进行

复制代码 
[root@etcd-1 ~]# wget https://github.com/etcd-io/etcd/releases/download/v3.4.27/etcd-v3.4.27-linux-amd64.tar.gz
[root@etcd-1 ~]# tar xvf etcd-v3.4.27-linux-amd64.tar.gz
[root@etcd-1 ~]# mv etcd-v3.4.27-linux-amd64/etcd* /usr/local/bin/ ##复制etcd命令文件
[root@etcd-1 ~]# mkdir -p /var/lib/etcd/   ##创建数据存放目录
[root@etcd-1 ~]# mkdir -p /etc/etcd ##创建配置文件存放目录

三个节点设置etcd配置文件，三个节点的防火墙要放行2379及2380端口

复制代码 
#etcd节点1
[root@etcd-1 ~]# cat /etc/etcd/etcd.conf
ETCD_NAME=etcd1
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="http://172.18.101.39:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.18.101.39:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.18.101.39:2380"
ETCD_INITIAL_CLUSTER="etcd1=http://172.18.101.39:2380,etcd2=http://172.18.101.40:2380,etcd3=http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="singless"
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.101.39:2379"

#etcd节点2
[root@etcd-2 ~]# cat /etc/etcd/etcd.conf
ETCD_NAME=etcd2
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="http://172.18.101.40:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.18.101.40:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.18.101.40:2380"
ETCD_INITIAL_CLUSTER="etcd1=http://172.18.101.39:2380,etcd2=http://172.18.101.40:2380,etcd3=http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="singless"
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.101.40:2379"

#etcd节点3
[root@etcd-3 ~]# cat /etc/etcd/etcd.conf
ETCD_NAME=etcd3
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="http://172.18.101.41:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.18.101.41:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER="etcd1=http://172.18.101.39:2380,etcd2=http://172.18.101.40:2380,etcd3=http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER_STATE="new"
ETCD_INITIAL_CLUSTER_TOKEN="singless"
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.101.41:2379"

  • ETCD_NAME：指定ETCD节点的名称。每个节点在集群中应具有唯一的名称，以便进行识别和通信。

  • ETCD_DATA_DIR：指定ETCD存储数据的目录路径。ETCD使用此目录来持久化存储数据。

  • ETCD_LISTEN_PEER_URLS：指定ETCD节点监听对等节点连接的URL。对等URL用于节点之间的通信和数据同步。

  • ETCD_LISTEN_CLIENT_URLS：指定ETCD节点监听客户端连接的URL列表。客户端URL用于与ETCD集群进行交互，例如执行读取或写入操作。

  • ETCD_INITIAL_ADVERTISE_PEER_URLS：指定ETCD节点初始公告对等节点连接的URL。当新节点加入集群时，将向其他节点宣告自己的URL，以便其他节点可以找到并连接到它。

  • ETCD_INITIAL_CLUSTER：指定ETCD集群的初始成员列表及其对等节点连接URL。每个成员由名称和对等节点连接URL组成，用逗号分隔。在启动集群时，指定初始成员列表用于插入新节点。

  • ETCD_INITIAL_CLUSTER_STATE：指定ETCD集群的初始状态。可选值为"new"和"existing"。"new"表示创建一个新的集群，"existing"表示已经存在的集群。

  • ETCD_INITIAL_CLUSTER_TOKEN：指定ETCD集群的初始令牌。所有成员在启动时应使用相同的令牌，以便它们可以识别和加入相同的集群。

  • ETCD_ADVERTISE_CLIENT_URLS：指定ETCD节点公告给客户端的连接URL。客户端连接URL用于向应用程序或工具公开ETCD节点，以便进行读取和写入操作。

配置systemd管理etcd，三个节点配置相同

复制代码 
[root@etcd-1 ~]# cat /usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
User=root
Type=notify
EnvironmentFile=-/etc/etcd/etcd.conf
ExecStart=/usr/local/bin/etcd
Restart=on-failure
RestartSec=10s
LimitNOFILE=40000

[Install]
WantedBy=multi-user.target

三个节点上启动服务

复制代码 
[root@etcd-1 ~]# systemctl enable etcd
[root@etcd-1 ~]# systemctl start etcd

2.3 部署后集群状态检查

2.3.1 查看集群成员

复制代码 
[root@etcd-1 ~]# etcdctl member list ##列出集群成员
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false
9f9b71960dcb7180, started, etcd3, http://172.18.101.41:2380, http://172.18.101.41:2379, false
[root@etcd-1 ~]# etcdctl -w table endpoint status --endpoints=172.18.101.39:2379,172.18.101.40:2379,172.18.101.41:2379 ##查看集群leader是哪个节点
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|     ENDPOINT     |       ID       | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| 172.18.101.39:2379 | 9a04401d57e3afba |  3.4.27 |   20 kB |      true |      false |       123 |         14 |                 14 |       |
| 172.18.101.40:2379 | 916281517eb238d9 |  3.4.27 |   20 kB |     false |      false |       123 |         14 |                 14 |       |
| 172.18.101.41:2379 | 9f9b71960dcb7180 |  3.4.27 |   20 kB |     false |      false |       123 |         14 |                 14 |       |
+--------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

2.3.2 查看集群成员的健康状态

复制代码 
[root@etcd-1 ~]# etcdctl -w table endpoint health --endpoints=172.18.101.39:2379,172.18.101.40:2379,172.18.101.41:2379
+--------------------+--------+------------+-------+
|     ENDPOINT     | HEALTH |   TOOK   | ERROR |
+--------------------+--------+------------+-------+
| 172.18.101.39:2379 |   true | 2.190331ms |       |
| 172.18.101.41:2379 |   true | 2.517434ms |       |
| 172.18.101.40:2379 |   true |  3.06371ms |       |
+--------------------+--------+------------+-------+

3 某个节点异常如何处理

  • 使用命令移除节点

  • 删除异常节点数据目录

  • 重新将节点添加至集群

3.1 移除节点

假设etcd3出现了异常

复制代码 
[root@etcd-1 ~]# etcdctl member list ##第一列为节点的id
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false
9f9b71960dcb7180, started, etcd3, http://172.18.101.41:2380, http://172.18.101.41:2379, false
[root@etcd-1 ~]#
[root@etcd-1 ~]# etcdctl member remove 9f9b71960dcb7180 ##通过节点的id将节点删除
Member 9f9b71960dcb7180 removed from cluster 8356fccf618a037f
[root@etcd-1 ~]# etcdctl member list
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false

3.2 删除异常节点的数据目录

复制代码 
[root@etcd-3 ~]# rm -rf /var/lib/etcd
[root@etcd-3 ~]# cat /etc/etcd/etcd.conf ##修改ETCD_INITIAL_CLUSTER_STATE为exsiting
ETCD_NAME=etcd3
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="http://172.18.101.41:2380"
ETCD_LISTEN_CLIENT_URLS="http://127.0.0.1:2379,http://172.18.101.41:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER="etcd1=http://172.18.101.39:2380,etcd2=http://172.18.101.40:2380,etcd3=http://172.18.101.41:2380"
ETCD_INITIAL_CLUSTER_STATE="existing"  ##修改为existing
ETCD_INITIAL_CLUSTER_TOKEN="singless"
ETCD_ADVERTISE_CLIENT_URLS="http://172.18.101.41:2379"

3.3 将节点添加至集群

复制代码 
[root@etcd-1 ~]# etcdctl member add etcd3 --peer-urls=http://172.18.101.41:2380
Member 51fc8f5f71060fdc added to cluster 8356fccf618a037f
[root@etcd-1 ~]# etcdctl member list ##可以看到节点添加后处于一个未启动的状态，需要手动去etcd-3节点上启动一下etcd服务
51fc8f5f71060fdc, unstarted, , http://172.18.101.41:2380, , false
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false

在etcd-3上启动服务即可

复制代码 
[root@etcd-3 ~]# systemctl start etcd
[root@etcd-1 ~]# etcdctl member list ##重新添加后，节点的id会变，属于正常现象
51fc8f5f71060fdc, started, etcd3, http://172.18.101.41:2380, http://172.18.101.41:2379, false
916281517eb238d9, started, etcd2, http://172.18.101.40:2380, http://172.18.101.40:2379, false
9a04401d57e3afba, started, etcd1, http://172.18.101.39:2380, http://172.18.101.39:2379, false

4 etcdctl增删改查操作

https://github.com/etcd-io/etcd/tree/main/etcdctl

etcdctl 是用于与 ETCD 进行交互的命令行工具，它提供了一系列命令和选项，用于检索、设置、修改和删除 ETCD 中的数据。

4.1 etcd的数据存储模型

前面介绍过，etcd是一个分布式的键值存储系统。etcd在键的组织上采用了层次化的空间结构，类似于文件系统中目录的概念。但是并不存在目录的那种层级关系。

例如现在

类似于文件系统中的目录（文件夹）结构，ETCD的命名空间允许以键的层次结构来组织数据，并且每个键可以唯一地标识一个节点。顶层节点被称为根节点，然后可以在根节点下创建子节点，子节点又可以包含更多子节点，以此类推。这种层次化的结构可以用于将数据进行分类、分类和组织。

例如，假设我们有以下目录结构：

  • /singless/test

  • /singless/test/gender

在上述示例中/singless/test和/singless/test/gender，有类似于目录一样的共同的索引前缀/和/singless，但是并不存在目录的那种层级关系。它们都可以作为一个key存储相应的value。

4.2 增和改

增加数据和修改数据需要用到put命令进行操作

复制代码 
[root@etcd-1 ~]# etcdctl put /singless/test/gender male ##创建一个键/singless/test/gender，值为male
OK
[root@etcd-1 ~]# etcdctl put /singless/test true ##创建一个键/singless/test，值为test
OK

4.3 查询操作

查询操作需要使用到get参数

复制代码 
[root@etcd-1 ~]# etcdctl get /singless/test/gender ##根据具体的key查询对应的值
/singless/test/gender
male
[root@etcd-1 ~]# etcdctl get --prefix / ##根据索引前缀查询，这里查询的是以/为前缀的key、value，所以能看到所有的键值对
/singless/test
true
/singless/test/gender
male
[root@etcd-1 ~]# etcdctl put /singless/test false ##使用put修改键/singless/test的value
OK
[root@etcd-1 ~]# etcdctl get /singless/test
/singless/test
false

4.4 删除操作

删除操作使用del命令

复制代码 
[root@etcd-1 ~]# etcdctl del /singless/test ##可以指定key进行删除
1
[root@etcd-1 ~]# etcdctl get --prefix /
/singless/test/gender
male
[root@etcd-1 ~]# etcdctl del --prefix / ##也可以执行索引前缀进行删除
1
[root@etcd-1 ~]# etcdctl get --prefix /

5 k8s中的etcd

5.1 介绍

k8s中所有对象的manifest都需要保存到某个地方，这样他们的manifest在api server重启和失败的时候才不会丢失，因此引入了etcd。在k8s中只有api server和etcd直接交互，其它组件都通过api server间接和etcd交互，这样做的好处如下。

  • 增强乐观锁系统及验证系统的健壮性

  • 方便后续存储的替换，只需修改api server组件的相关接口。

etcd是一个响应快、分布式、一致的KV存储，也是k8s存储集群状态和元数据的唯一地方。

5.2 查看k8s中etcd存储的数据

复制代码 
[root@k8s-master01 ~]# kubectl get pod -n kube-system |grep etcd
etcd-k8s-master01                          1/1     Running   1             47d
etcd-k8s-master02                          1/1     Running   0             47d
etcd-k8s-master03                          1/1     Running   0             47d
[root@k8s-master01 ~]#
[root@k8s-master01 ~]# kubectl exec -it -n kube-system etcd-k8s-master01 -- /bin/sh
sh-5.1# etcdctl member list --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key
15c808b23512a31a, started, k8s-master02, https://10.0.107.77:2380, https://10.0.107.77:2379, false
5ca9692dbcd57e55, started, k8s-master03, https://10.0.113.204:2380, https://10.0.113.204:2379, false
f8b45063ae1a7dfa, started, k8s-master01, https://10.0.87.66:2380, https://10.0.87.66:2379, false

k8s中的etcd需要使用到证书进行认证

查看etcd中存储的数据，可以手动在master节点上安装etcdctl命令

复制代码 
[root@k8s-master01 ~]# export ETCDCTL_API=3 ##指定使用的api版本
[root@k8s-master01 ~]# etcdctl get --prefix "" --endpoints=10.0.87.66:2379,10.0.107.77:2379,10.0.113.204:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key |head -2

--endpoints指定etcd节点，另外要使用到k8s证书，证书通常在/etc/kubernetes/pki/目录下，以下输出可以看到etcd中存储的k8s相关的键值数据。

相关推荐
huosenbulusi5 小时前
helm推送到harbor私有库--http: server gave HTTP response to HTTPS client
云原生·容器·k8s
不会飞的小龙人6 小时前
Docker Compose创建镜像服务
linux·运维·docker·容器·镜像
不会飞的小龙人6 小时前
Docker基础安装与使用
linux·运维·docker·容器
元气满满的热码式11 小时前
K8S中Service详解（三）
云原生·容器·kubernetes
染诗11 小时前
docker部署flask项目后，请求时总是报拒绝连接错误
docker·容器·flask
张3蜂12 小时前
docker 部署.netcore应用优势在什么地方？
docker·容器·.netcore
心惠天意14 小时前
docker-compose篇---创建jupyter并可用sudo的创建方式
docker·jupyter·容器
huaweichenai15 小时前
windows下修改docker的镜像存储地址
运维·docker·容器
周杰伦_Jay16 小时前
详细介绍：Kubernetes（K8s）的技术架构（核心概念、调度和资源管理、安全性、持续集成与持续部署、网络和服务发现）
网络·ci/cd·架构·kubernetes·服务发现·ai编程
周杰伦_Jay19 小时前
详细介绍：云原生技术细节（关键组成部分、优势和挑战、常用云原生工具）
java·云原生·容器·架构·kubernetes·jenkins·devops
热门推荐
01centos7 init.d 和system.d02Dell服务器升级ubuntu 22.04失败解决03半导体应用系统一些小知识收集(strip&wafer mapping,EAP&scada)04PyTorch AMP 混合精度中grad_scaler.py的scale函数解析05Windows10安装PCL1.14.0及点云配准06密码学原理技术-第六章-introduction to pulibc-key cryptography07xgboost: Why not implement distributed XGBoost on top of spark08Oracle Scheduler: Calendaring09(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明10大语言模型LLM的文生图、文生视频和文生语音技术简介