Nacos-Controller 2.0:使用 Nacos 高效管理你的 K8s 配置

作者:濯光、翼严

Kubernetes 配置管理的局限

目前,在 Kubernetes 集群中,配置管理主要通过 ConfigMap 和 Secret 来实现。这两种资源允许用户将配置信息通过环境变量或者文件等方式,注入到 Pod 中。尽管 Kubernetes 提供了这些强大的工具,但在实际应用中仍存在一些挑战:

1. 历史版本管理缺失:Kubernetes 中的 ConfigMap 和 Secret 本身并不直接支持历史版本管理,更新后旧版本的配置将被覆盖,且无法直接恢复到之前的版本。如果配置更新后出现问题,无法快速回滚到之前的版本,可能导致系统不稳定或服务中断,也不利于故障排查和合规性审计。

2. 缺乏动态性:Kubernetes 原生的配置管理机制不支持实时推送配置变更,这意味着更改后的配置不会立即在应用中生效,除非重启 Pod,这导致系统的响应速度慢,灵活性差。

3. 没有灰度能力:Kubernetes 原生的配置管理机制(如 ConfigMap 和 Secret)不直接支持灰度发布。配置变更通常需要手动更新,并且会立即应用到所有相关的 Pod。

4. 安全性问题:虽然 Secret 可以用来存储敏感信息,但其安全性和访问控制仍有待加强。

Nacos 配置管理的优势

Nacos(Dynamic Naming and Configuration Service)是一个动态服务发现、配置管理和服务管理平台。它旨在帮助开发者更容易地构建云原生应用,提供了一套简单易用的特性来简化微服务架构中的服务发现、配置管理和服务管理。Nacos 在配置管理方面提供了许多高阶的管理功能,能够有效解决上述问题:

  • 历史版本管理: Nacos 支持配置的历史版本管理,您可以轻松查看和恢复到之前的配置版本。这使得回滚配置变得更加简单和可靠。
  • 统一配置管理: Nacos 提供了一个集中式的配置管理中心,可以将所有环境下的配置信息统一管理,简化了配置管理流程。通过一个直观的 Web 界面,用户可以轻松查看、编辑和管理配置
  • 动态配置更新: Nacos 支持实时推送配置变更,无需重启 Pod 即可使新的配置生效,大大提升了系统的灵活性和响应速度。
  • 灰度发布支持: Nacos 支持配置灰度发布功能,可以针对特定的服务实例或环境推送配置变更。通过 Nacos 的灰度发布功能,可以在部分实例上测试新的配置,确保其稳定后再逐步推广到所有实例。
  • 敏感信息安全存储: Nacos 提供了多层次的安全机制,包括配置加密、安全传输等,确保敏感信息的安全性。
  • 丰富的多语言支持: Nacos 提供了丰富的多语言支持,涵盖了 Java\Go\Python 无论您的微服务架构基于何种技术栈,只要它们能够接入 Nacos,就可以享受到一致性的配置管理体验。

最近,伴随着 Nacos 3.0-Beta 版本的发布,Nacos 社区发布了 Nacos-Controller 2.0 版本,它可以帮助同步 K8s 的 Service 到 Nacos,同时也支持 K8s 的 Configmap、Secret 与 Nacos 配置的双向同步。基于 Nacos-Controller 2.0,可以实现 Nacos 一键托管 K8s 配置,使用 Nacos 赋能 K8s 配置管理。接下来就让我们来看看如何使用 Nacos 来管理 K8s 配置吧。

使用 Nacos-Controller 一键托管 K8s 配置

Nacos Controller 2.0 支持 Kubernetes 集群配置和 Nacos 配置的双向同步,支持将 Kubernetes 集群特定命名空间下的 ConfigMap 以及 Secret 同步到 Nacos 指定命名空间下中。用户可以通过 Nacos 实现对于 Kubernetes 集群配置的动态修改和管理。Nacos 配置和 Kubernetes 配置的映射关系如下表所示:

ConfigMap/Secret Nacos Config
Namespace 用户指定的命名空间
Name Group
Key DataId
Value Content

目前主要支持两种配置同步的策略:

  • 全量同步:Kubernetes 集群特定命名空间下的所有 ConfigMap 以及 Secret 自动同步至 Nacos,Nacos Controller 会自动同步所有新建的 ConfigMap 和 Secret
  • 部分同步:只同步用户指定的 ConfigMap 和 Secret 至 Nacos

部署 Nacos Controller

  1. 安装 helm,参考文档【1】

  2. 安装 Nacos Controller 到对应的 kubernetes 集群中

bash 复制代码
git clone https://github.com/nacos-group/nacos-controller.git
cd nacos-controller/charts/nacos-controller

export KUBECONFIG=/你的K8s集群/访问凭证/文件路径
kubectl create ns nacos
helm install -n nacos nacos-controller .

快速开始

通过以下的命令,你可以快速将 kubernetes 集群中当前命名空间的配置全量同步到 Nacos 中。

bash 复制代码
cd nacos-controller
chmod +x configQuicStart.sh 

./configQuicStart.sh <nacos-addr> <nacos-namespace-id>

除此之外,你还可以参照以下说明:根据自己的需要编写 DynamicConfiguration yaml 文件,并部署到 K8s 集群中。

K8s 集群命名空间配置全量同步 Nacos

  1. 编写 DynamicConfiguration yaml 文件:
yaml 复制代码
apiVersion: nacos.io/v1
kind: DynamicConfiguration
metadata:
   name: dc-demo
spec:
   nacosServer:
      # endpoint: nacos地址服务器,与serverAddr互斥,优先级高于serverAddr,与serverAddr二选一即可
      endpoint: <your-nacos-server-endpoint>
      # serverAddr: nacos地址,与endpoint二选一即可
      serverAddr: <your-nacos-server-addr>
      # namespace: 用户指定的命名空间
      namespace: <your-nacos-namespace-id>
      # authRef: 引用存放Nacos 客户端鉴权信息的Secret,支持用户名/密码 和 AK/SK, Nacos服务端未开启鉴权可忽略
      authRef:
         apiVersion: v1
         kind: Secret
         name: nacos-auth
   strategy:
      # scope: 同步策略,full 表示全量同步,partial 表示部分同步
      scope: full
      # 是否同步配置删除操作
      syncDeletion: true
      # conflictPolicy: 同步冲突策略,preferCluster 表示初次同步内容冲突时以Kubernetes集群配置为准,preferServer 表示以Nacos配置为准
      conflictPolicy: preferCluster
---
apiVersion: v1
kind: Secret
metadata:
    name: nacos-auth
data:
    #阿里云Mse Nacos采用AK SK进行鉴权
    accessKey: <base64 ak>
    secretKey: <base64 sk>
    #开源Nacos采用用户名密码进行鉴权
    username: <base64 your-nacos-username>
    password: <base64 your-nacos-password>
  1. 执行命令部署 DynamicConfiguration 到需要全量同步的 Kubernetes 集群命名空间下, 即可实现配置的全量同步
arduino 复制代码
kubectl apply -f dc-demo.yaml -n <namespace>

K8s 集群命名空间配置部分同步 Nacos

  1. 编写 DynamicConfiguration yaml 文件,和全量同步的区别主要在于 strategy 部分,并且要指定需要同步的 ConfigMap 和 Secret:
yaml 复制代码
apiVersion: nacos.io/v1
kind: DynamicConfiguration
metadata:
   name: dc-demo
spec:
   nacosServer:
      # endpoint: nacos地址服务器,与serverAddr互斥,优先级高于serverAddr,与serverAddr二选一即可
      endpoint: <your-nacos-server-endpoint>
      # serverAddr: nacos地址,与endpoint二选一即可
      serverAddr: <your-nacos-server-addr>
      # namespace: 用户指定的命名空间
      namespace: <your-nacos-namespace-id>
      # authRef: 引用存放Nacos 客户端鉴权信息的Secret,支持用户名/密码 和 AK/SK, Nacos服务端未开启鉴权可忽略
      authRef:
         apiVersion: v1
         kind: Secret
         name: nacos-auth
   strategy:
      # scope: 同步策略,full 表示全量同步,partial 表示部分同步
      scope: partial
      # 是否同步配置删除操作
      syncDeletion: true
      # conflictPolicy: 同步冲突策略,preferCluster 表示初次同步内容冲突时以Kubernetes集群配置为准,preferServer 表示以Nacos配置为准
      conflictPolicy: preferCluster
   # 需要同步的ConfigMap和Secret
   objectRefs:
      - apiVersion: v1
        kind: ConfigMap
        name: nacos-config-cm
      - apiVersion: v1
        kind: Secret
        name: nacos-config-secret
---
apiVersion: v1
kind: Secret
metadata:
    name: nacos-auth
data:
    accessKey: <base64 ak>
    secretKey: <base64 sk>
    username: <base64 your-nacos-username>
    password: <base64 your-nacos-password>
  1. 执行命令部署 DynamicConfiguration 到需要同步的 Kubernetes 集群命名空间下,即可实现配置的部分同步
arduino 复制代码
kubectl apply -f dc-demo.yaml -n <namespace>

通过以上的步骤,Nacos Controller 就会根据我们提供的 DynamicConfiguration 配置信息,自动实现 K8s 集群配置和 Nacos 配置之间的全量同步或者部分同步,让我们来看看具体效果吧!

效果演示

以全量同步为例,在完成 Nacos-controller 的部署后,我们执行以下命令,查看当前 K8s 集群中默认命名空间下的 ConfigMap:

arduino 复制代码
% kubectl get configmap
NAME               DATA   AGE
kube-root-ca.crt   1      63m

可以发现当前只有 kube-root-ca.crt 一个配置。

编写 DynamicConfiguration yaml 文件,选择全量同步模式,并执行命令部署:

yaml 复制代码
apiVersion: nacos.io/v1
kind: DynamicConfiguration
metadata:
    name: dc-demo
spec:
  nacosServer:
    endpoint: nacos-serverAddr
    serverAddr: nacos-serverAddr
    namespace: xxxxxxxxxxxxxxxxx #选择要同步到的nacos命名空间
  strategy:
    scope: full
    syncDeletion: true
    conflictPolicy: preferCluster
复制代码
kubectl apply -f dc-demo.yaml

查看对应的 Nacos 控制台:

可以发现对应的命名空间下面已经多了一条分组为 configmap.kube-root-ca.crt,dataId 为 ca.crt 的 Nacos 配置,对应的 K8s 配置已经同步到了 Nacos 中。

此时我们通过 kubectl 命令在 K8s 中再创建一个 ConfigMap:

vbnet 复制代码
apiVersion: v1
kind: ConfigMap
metadata:
    name: testconfig
    namespace: default
data:
    test.properties: "Hello, World"
复制代码
kubectl apply -f test.yaml

查看 Nacos 控制台,可以发现命名空间下已经也多了一条对应的 Nacos 配置,dataId 为 ConfigMap 中的 Key,分组为 ConfigMap的Name:

在 Nacos 控制台上编辑对应的配置内容并发布:

通过 kubectl 查看对应的 ConfigMap 内容:

markdown 复制代码
kubectl describe configmap testconfig

Name:         testconfig
Namespace:    default
Labels:       <none>
Annotations:  <none>

Data
====
test.properties:
----
Hi, World


BinaryData
====

Events:  <none>

可以发现对应的配置内容产生了更改,Nacos 上对于配置内容的变更同步到了 K8s 集群中。

同时,通过 Nacos 的历史版本功能,还可以对历史变更操作进行溯源定位,比较每个版本之间的内容差异,并在故障发生时及时回滚:

通过 Nacos-Controller 将 K8s 集群配置托管至 Nacos,用户可以使用 Nacos 控制台对 K8s 配置进行白屏化管理,避免使用 kubectl 进行的黑屏操作。同时,在 Nacos 上可以对不同环境的配置(开发、线上、测试)进行统一的管理,历史版本功能也能帮助用户进行审计、溯源和恢复。目前,Nacos-Controller 2.0 已经和 Nacos 3.0-BETA 版本同步发布,快来体验下吧。

接入 Nacos 高阶配置管理能力

Nacos-Controller 2.0 支持将 K8s 集群配置托管至 Nacos 进行双向同步,让 K8s 配置拥有了历史版本,白屏化操作以及配置集中化管理等能力。

而如果你希望能够更加高效的对应用配置进行管理,对配置管理还有以下的更高的要求:

  • 动态配置生效: 配置的更改能够直接在应用中生效,无需重启。
  • 配置灰度发布: 配置更新上线时,先在小部分节点进行灰度验证,确认无风险后再全量推送。
  • 敏感配置安全存储: 我的配置中存储了密钥等敏感机密的信息,要保证这些信息不会泄露。
  • 配置监听查询: 我希望直观的了解有哪些节点在使用这份配置。

那我们建议你采用第二种方式:在应用中接入 Nacos sdk,即可轻松享受 Nacos 提供的以上高阶配置管理能力:

配置灰度

Nacos 支持基于 IP 的灰度发布:

正式节点监听到的内容:

makefile 复制代码
receive:Hi, World

IP=192.168.255.254 的灰度节点监听到的内容:

makefile 复制代码
receive:Hi, World Gray

阿里云企业版 Mse Nacos 还额外提供了更强大的多版本标签灰度的能力,欢迎了解。

配置监听查询

在 Nacos 控制台上可以轻松查看有哪些客户端监听了对应的配置

敏感信息安全传输和存储

如果敏感信息以明文形式存储或传输,容易成为黑客攻击的目标,导致数据泄露或系统被滥用。这些信息一旦泄露,可能对用户隐私、企业安全和系统稳定性造成严重影响。Nacos 配置中心支持配置加密功能,并支持 TLS 传输加密,建设了完善的零信任安全体系,可以对存放在 Nacos 上的敏感信息从存储到传输的全链路加密,大大提高安全性:

MSE Nacos 更进一步,和阿里云秘钥管理服务 KMS 合作,支持对配置进行安全等级更高的非对称加密。针对数据安全隐患,MSE Nacos 可为敏感配置提供满足国家三级等保中数据安全要求的解决方案。

应用接入 Nacos SDK

以 Java 为例,当用户没有接入 Nacos,直接通过环境变量或者文件方式去 K8s 配置变化时,一般采用轮训的方式:

ini 复制代码
String ENV_VARIABLE_NAME = "YOUR_ENV_VARIABLE_NAME"; // 替换为您的环境变量名称
String lastValue = System.getenv(ENV_VARIABLE_NAME);
ScheduledExecutorService executorService = Executors.newScheduledThreadPool(1);

// 每5秒检查一次环境变量的变化
executorService.scheduleAtFixedRate(() -> {
    String currentValue = System.getenv(ENV_VARIABLE_NAME);
    if (currentValue != null && !currentValue.equals(lastValue)) {
        System.out.println("环境变量 " + ENV_VARIABLE_NAME + " 发生变化: 从 " + lastValue + " 变为 " + currentValue);
        lastValue = currentValue;
    }
}, 0, 5, TimeUnit.SECONDS);

而只修改几行代码,就可以接入 Nacos Java sdk,享受到 Nacos 配置管理的高阶功能:

ini 复制代码
String serverAddr = "{serverAddr}";
String dataId = "{dataId}";
String group = "{group}";
Properties properties = new Properties();
# 指定Nacos的地址
properties.put("serverAddr", serverAddr);
ConfigService configService = NacosFactory.createConfigService(properties);
# 查询Nacos的配置
String content = configService.getConfig(dataId, group, 5000);
# 监听Nacos的配置
configService.addListener(dataId, group, new Listener() {
    @Override
    public void receiveConfigInfo(String configInfo) {
        System.out.println("recieve1:" + configInfo);
    }
    @Override
    public Executor getExecutor() {
        return null;
    }
});

而除了 Java 之外,Nacos 还提供了丰富的多语言支持,覆盖了 Go/Python 等热门编程语言,对应的开源社区也非常活跃,无论您的应用使用的是以上什么类型的编程语言,都可以采用类似的方式轻松接入,享受到 Nacos 高阶的配置管理能力。

结语

无论是使用 Nacos-Controller 实现配置的双向同步,还是直接在应用中接入 Nacos SDK 以获得更高级的配置管理特性,都能显著提升配置管理的灵活性、安全性和可维护性。使用 Nacos,您能够更好地管理和优化您的应用配置,从而提高系统的稳定性和可靠性。此外,Nacos-Controller 2.0 还支持 Nacos 服务和 K8S Service 的同步。近期,Nacos 3.0-BETA 版本也已经重磅发布,在安全性方面显著提升,同时增加了分布式锁,模糊订阅等新特性,欢迎各位体验使用。

安装 helm,参考文档helm.sh/docs/intro/...

相关链接

1\] Nacos 官网 *[nacos.io](https://link.juejin.cn?target=https%3A%2F%2Fnacos.io "https://nacos.io")* \[2\] Nacos Github 主仓库 *[github.com/alibaba/nac...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Falibaba%2Fnacos "https://github.com/alibaba/nacos")* \[3\] 生态组仓库 *[github.com/nacos-group](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group "https://github.com/nacos-group")* \[4\] MSE 配置灰度发布 *[help.aliyun.com/zh/mse/user...](https://link.juejin.cn?target=https%3A%2F%2Fhelp.aliyun.com%2Fzh%2Fmse%2Fuser-guide%2Fconfigure-canary-release "https://help.aliyun.com/zh/mse/user-guide/configure-canary-release")* **Nacos 多语言生态仓库:** \[1\] Nacos-GO-SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-go "https://github.com/nacos-group/nacos-sdk-go")* \[2\] Nacos-Python-SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-python "https://github.com/nacos-group/nacos-sdk-python")* \[3\] Nacos-Rust-SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-rust "https://github.com/nacos-group/nacos-sdk-rust")* \[4\] Nacos C# SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-csharp "https://github.com/nacos-group/nacos-sdk-csharp")* \[5\] Nacos C++ SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-cpp "https://github.com/nacos-group/nacos-sdk-cpp")* \[6\] Nacos PHP-SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-php "https://github.com/nacos-group/nacos-sdk-php")* \[7\] Rust Nacos Server *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fr-nacos "https://github.com/nacos-group/r-nacos")*

相关推荐
掘金-我是哪吒3 小时前
分布式微服务系统架构第107集:Netty开发,模拟报文生成器代码
分布式·微服务·云原生·架构
CN_HW11 小时前
k8s证书续期
云原生·容器·kubernetes
somdip11 小时前
若伊微服务版本教程(自参)
微服务·云原生·架构
java1234_小锋13 小时前
Zookeeper的典型应用场景?
分布式·zookeeper·云原生
老马啸西风15 小时前
Neo4j GDS-09-neo4j GDS 库中路径搜索算法实现
网络·数据库·算法·云原生·中间件·neo4j·图数据库
阿里云云原生16 小时前
无感改造,完美监控:Docker 多阶段构建 Go 应用无侵入观测
云原生
阿里云云原生16 小时前
Serverless MCP 运行时业界首发,函数计算让 AI 应用最后一公里提速
云原生·serverless
CloudWeGo19 小时前
CloudWeGo 技术沙龙·深圳站回顾:云原生 × AI 时代的微服务架构与技术实践
微服务·云原生·架构