ETCD学习笔记

etcd是什么

etcd是一个分布式、高可用的键值存储系统,常用于配置中心、服务注册、Leader选举等场景。

分布式系统

采用etcd作为分布式一致性KV存储,它基于Raft算法,可以保证在主从节点之间数据一致性。我们常把服务注册信息、配置中心的数据保存在etcd中,多个服务节点通过watch等机制保持一致状态。

分布式锁

数据一致性

Raft算法

代码实例

go 复制代码
package main

import (
	"context"
	"log"
	"time"

	clientv3 "go.etcd.io/etcd/client/v3"
)

// 服务注册
func registerService(client *clientv3.Client, serviceName, serviceAddr string, ttl int64) error {
	// 创建租约
	leaseResp, err := client.Grant(context.TODO(), ttl)
	if err != nil {
		return err
	}

	// 服务路径
	key := "/services/" + serviceName + "/" + serviceAddr

	// 将服务地址注册到etcd,并与租约关联
	_, err = client.Put(context.TODO(), key, serviceAddr, clientv3.WithLease(leaseResp.ID))
	if err != nil {
		return err
	}

	// 自动续约
	ch, err := client.KeepAlive(context.TODO(), leaseResp.ID)
	if err != nil {
		return err
	}

	// 处理续约应答
	go func() {
		for range ch {
			// 续约成功
			log.Printf("Service %s renewed", serviceAddr)
		}
		log.Printf("Service %s lease expired", serviceAddr)
	}()

	return nil
}

// 服务发现
func discoverServices(client *clientv3.Client, serviceName string) ([]string, error) {
	// 前缀查询
	resp, err := client.Get(context.TODO(), "/services/"+serviceName+"/", clientv3.WithPrefix())
	if err != nil {
		return nil, err
	}

	var services []string
	for _, kv := range resp.Kvs {
		services = append(services, string(kv.Value))
	}

	return services, nil
}

// 监听服务变化
func watchServices(client *clientv3.Client, serviceName string) {
	rch := client.Watch(context.TODO(), "/services/"+serviceName+"/", clientv3.WithPrefix())
	
	for wresp := range rch {
		for _, ev := range wresp.Events {
			switch ev.Type {
			case clientv3.EventTypePut:
				log.Printf("Service added: %s", ev.Kv.Value)
			case clientv3.EventTypeDelete:
				log.Printf("Service removed: %s", ev.Kv.Key)
			}
		}
	}
}

func main() {
	// 连接etcd
	client, err := clientv3.New(clientv3.Config{
		Endpoints:   []string{"localhost:2379"}, // etcd服务器地址
		DialTimeout: 5 * time.Second,
	})
	if err != nil {
		log.Fatalf("Failed to connect to etcd: %v", err)
	}
	defer client.Close()

	// 注册服务
	serviceName := "user-service"
	serviceAddr := "127.0.0.1:8080"
	err = registerService(client, serviceName, serviceAddr, 10) // 10秒租约
	if err != nil {
		log.Fatalf("Failed to register service: %v", err)
	}
	log.Printf("Service %s registered successfully", serviceAddr)

	// 启动服务监听
	go watchServices(client, serviceName)

	// 发现服务
	services, err := discoverServices(client, serviceName)
	if err != nil {
		log.Fatalf("Failed to discover services: %v", err)
	}
	log.Printf("Discovered services: %v", services)

	// 保持程序运行
	select {}
}

代码功能

  • 服务注册
    1. 使用etcd的租约机制注册(为了避免死锁,使用租约)
    2. 设置服务的存活时间(租约有效时间,到期前如果未续费就自动断开)
    3. 通过自动续约机制保持服务在线状态
    4. 服务路径格式为/services/服务名/服务地址
  • 服务发现
    1. 通过前缀查询获取指定服务名的所有实例
    2. 可以获取当前可用的服务列表
  • 服务监听
    1. 实时监控服务的变化(新增或移除)
    2. 当服务上下线时能及时收到通知

上线与注册流程说明

  1. 连接etcd集群
go 复制代码
client, err := clientv3.New(clientv3.Config{
    Endpoints:   []string{"localhost:2379"}, // etcd服务器地址
    DialTimeout: 5 * time.Second,
})

创建了一个 etcd 客户端,通过指定的端点 (Endpoints) 连接到 etcd 集群。

  1. 服务注册实现
go 复制代码
// 创建租约
leaseResp, err := client.Grant(context.TODO(), ttl)

// 写入服务信息并关联租约
_, err = client.Put(context.TODO(), key, serviceAddr, clientv3.WithLease(leaseResp.ID))

// 自动续约
ch, err := client.KeepAlive(context.TODO(), leaseResp.ID)

// 处理续约应答
go func() {
    for range ch {
        // 续约成功
    }
}()
  • Grant() 创建租约,设置服务存活时间
  • Put() 将服务信息写入 etcd,并通过WithLease()关联租约
  • KeepAlive() 启动自动续约机制
  • 用 goroutine 处理续约响应,保持服务活跃
  1. 服务发现实现
go 复制代码
// 前缀查询获取服务实例
resp, err := client.Get(context.TODO(), "/services/"+serviceName+"/", clientv3.WithPrefix())

// 提取服务地址
var services []string
for _, kv := range resp.Kvs {
    services = append(services, string(kv.Value))
}
  • Get() 方法配合WithPrefix()参数实现前缀查询
  • 遍历查询结果,提取所有服务实例地址
  1. 监听服务变化
go 复制代码
rch := client.Watch(context.TODO(), "/services/"+serviceName+"/", clientv3.WithPrefix())

for wresp := range rch {
    for _, ev := range wresp.Events {
        switch ev.Type {
        case clientv3.EventTypePut:    // 服务新增
        case clientv3.EventTypeDelete: // 服务移除
        }
    }
}
  • Watch() 方法建立对指定前缀路径的监听
  • 通过循环读取事件通道,处理服务新增和移除事件
  1. 服务下线
相关推荐
Britz_Kevin16 小时前
从零开始的云计算生活——第五十六天,临深履薄,kubernetes模块之etcd备份恢复和集群升级指南
kubernetes·生活·etcd
only_Klein16 小时前
etcd自动备份以及恢复
云原生·kubernetes·etcd
工藤学编程17 小时前
深入浅出 RabbitMQ-RabbitMQ消息确认机制(ACK)
分布式·rabbitmq·ruby
池易19 小时前
调用后端接口像调用函数一样简单——Fun改变了我的开发方式
后端·go
心月狐的流火号20 小时前
分布式事务XA模式:基于数据库的2PC
分布式·后端
roman_日积跬步-终至千里20 小时前
【系统架构设计(11)】软件测试全景解析:从方法论到实践策略
系统架构
喂完待续21 小时前
【序列晋升】25 Spring Cloud Open Service Broker 如何为云原生「服务市集」架桥铺路?
spring·spring cloud·微服务·云原生·系统架构·big data·序列晋升
资源开发与学习21 小时前
Go + AI 从0到1开发 Docker 引擎
go
##学无止境##1 天前
Kafka:Java开发的消息神器,你真的懂了吗?
java·分布式·kafka