记一次升级 Viper、ETCD V3操作Toml

前一阵子碰到Go写的一项目,使用viper和ETCD进行Toml文件的存储与写入。在当我安装新版本的ETCD和升级Go依赖包之后出现了不兼容的问题。旧版viper为1.10版本,使用github.com/coreos/go-etcd v2.0.0+incompatible 作为请求包。看了源码之后发现新的版本中废弃掉了很多内容,所以既然升级了ETCD,那不如将逻辑重写了。
目前使用的包版本
github.com/spf13/viper v1.15.0
go.etcd.io/etcd/client/v3 v3.5.9

代码如下:

go 复制代码
package main

import (
	"bytes"
	"context"
	"crypto/tls"
	"crypto/x509"
	"fmt"
	"github.com/spf13/viper"
	"io/ioutil"
	"log"
	"os"
	"time"

	_ "github.com/spf13/viper/remote"
	clientv3 "go.etcd.io/etcd/client/v3"
)

type etcdClient struct {
	cli *clientv3.Client
}

func initClient(endpoint string) *etcdClient {
	log.SetFlags(log.LstdFlags | log.Lshortfile)
    
    // 这里的证书只是释意,我没有配置证书下面跳过验证了
	cert, err := tls.LoadX509KeyPair("healthcheck-client.crt", "healthcheck-client.key")
	if err != nil {
		log.Fatalf("Failed to load client cert and key: %v", err)
	}

	caCert, err := ioutil.ReadFile("ca.crt")
	if err != nil {
		log.Fatalf("Failed to read ca certificate: %v", err)
	}
	caCertPool := x509.NewCertPool()
	caCertPool.AppendCertsFromPEM(caCert)

	cli, err := clientv3.New(clientv3.Config{
		Endpoints:   []string{endpoint},
		DialTimeout: 10 * time.Second,
		TLS: &tls.Config{
			Certificates:       []tls.Certificate{cert},
			RootCAs:            caCertPool,
			InsecureSkipVerify: false,
		},
	})
	if err != nil {
		log.Fatalf("Failed to connect to etcd: %v", err)
	}
	fmt.Println("init client...")
	return &etcdClient{
		cli: cli,
	}
}

func (cli *etcdClient) Put(key string, fileName string) {

	fmt.Println("write config to etcd...")
	data, err := os.ReadFile(fileName)
	if err != nil {
		log.Fatalf("Failed to read config file: %v", err)
	}

	ctx, cancel := context.WithTimeout(context.Background(), time.Second)
	_, err = cli.cli.Put(ctx, key, string(data))
	cancel()
	if err != nil {
		log.Fatalf("Failed to write config to etcd: %v", err)
	}
}

func (cli *etcdClient) Get(key string) {
	fmt.Println("get config from etcd...")

	ctx, cancel := context.WithTimeout(context.Background(), time.Second)
	resp, err := cli.cli.Get(ctx, key)
	cancel()
	if err != nil {
		log.Fatalf("Failed to get config from etcd: %v", err)
	}

	viper.SetConfigType("toml")
	if len(resp.Kvs) > 0 {
		err = viper.ReadConfig(bytes.NewBuffer(resp.Kvs[0].Value))
		if err != nil {
			log.Fatalf("Failed to read configuration: %v", err)
		}
	} else {
		log.Fatalf("No config found in ETCD")
	}

	fmt.Println("读取的配置信息:", viper.Get("god_job.repo.k8s"))
}

func viperDemo(endpoint, key string) {
	v := viper.New()

	v.SetConfigType("toml")
	err := v.AddRemoteProvider("etcd3", endpoint, key)
	if err != nil {
		log.Fatalf("Failed to add remote provider: %v", err)
	}

	err = v.ReadRemoteConfig()
	fmt.Println("读取的配置信息:", v.Get("god_job.repo.k8s"))
}

func main() {
	fileName := "conf.dev.toml"
	keyString := "/dev/conf.dev.toml"
	endpoint := "http://127.0.0.1:23791"
	cli := initClient(endpoint)
	cli.Put(keyString, fileName)
	cli.Get(keyString)
	cli.cli.Close()

	viperDemo(endpoint, keyString)
}
注意点!

1. Viper包中是不支持配置证书的,旧版remote可以绕过HTTPS,(目前我没找到,有大佬可以在评论区告诉我),所以如果ETCD有证书的话建议先读出来然后使用Viper解析。
2. ETCD V2 版本的API存入的数据使用v3是读不出来的,也就是说v2存v2读,v3存v3读。

相关推荐
楠神说软件测试1 分钟前
MySQL调优
数据库·mysql
Cedric_Anik21 分钟前
MYSQL数据库基础篇——DDL
数据库·mysql
文牧之21 分钟前
PostgreSQL的walsender和walreceiver进程介绍
运维·数据库·postgresql
爬山算法24 分钟前
Oracle(121)如何进行数据文件的恢复?
数据库·oracle
咔咔学姐kk26 分钟前
2024最新版,人大赵鑫老师《大语言模型》新书pdf分享
数据库·人工智能·语言模型·自然语言处理·pdf·知识图谱·产品经理
littleschemer38 分钟前
Go缓存系统
缓存·go·cache·bigcache
青云交1 小时前
大数据新视界 --大数据大厂之MongoDB与大数据:灵活文档数据库的应用场景
大数据·数据库·mongodb·非关系型数据库·文档存储·查询功能、数据处理·开发效率、应用场景、高可扩展性
青云交1 小时前
大数据新视界 --大数据大厂之HBase深度探寻:大规模数据存储与查询的卓越方案
大数据·数据库·hbase·数据存储·性能优势、问题解决、应用领域·可扩展性、高可靠性·读写性能、集群管理
茜茜西西CeCe1 小时前
大数据处理技术:HBase的安装与基本操作
java·大数据·数据库·hbase·头歌·大数据处理技术
HoweWWW1 小时前
k8s 微服务 ingress-nginx 金丝雀发布
微服务·容器·kubernetes