作者:濯光、翼严
Kubernetes 配置管理的局限
目前,在 Kubernetes 集群中,配置管理主要通过 ConfigMap 和 Secret 来实现。这两种资源允许用户将配置信息通过环境变量或者文件等方式,注入到 Pod 中。尽管 Kubernetes 提供了这些强大的工具,但在实际应用中仍存在一些挑战:
1. 历史版本管理缺失:Kubernetes 中的 ConfigMap 和 Secret 本身并不直接支持历史版本管理,更新后旧版本的配置将被覆盖,且无法直接恢复到之前的版本。如果配置更新后出现问题,无法快速回滚到之前的版本,可能导致系统不稳定或服务中断,也不利于故障排查和合规性审计。
2. 缺乏动态性:Kubernetes 原生的配置管理机制不支持实时推送配置变更,这意味着更改后的配置不会立即在应用中生效,除非重启 Pod,这导致系统的响应速度慢,灵活性差。
3. 没有灰度能力:Kubernetes 原生的配置管理机制(如 ConfigMap 和 Secret)不直接支持灰度发布。配置变更通常需要手动更新,并且会立即应用到所有相关的 Pod。
4. 安全性问题:虽然 Secret 可以用来存储敏感信息,但其安全性和访问控制仍有待加强。
Nacos 配置管理的优势
Nacos(Dynamic Naming and Configuration Service)是一个动态服务发现、配置管理和服务管理平台。它旨在帮助开发者更容易地构建云原生应用,提供了一套简单易用的特性来简化微服务架构中的服务发现、配置管理和服务管理。Nacos 在配置管理方面提供了许多高阶的管理功能,能够有效解决上述问题:
- 历史版本管理: Nacos 支持配置的历史版本管理,您可以轻松查看和恢复到之前的配置版本。这使得回滚配置变得更加简单和可靠。
- 统一配置管理: Nacos 提供了一个集中式的配置管理中心,可以将所有环境下的配置信息统一管理,简化了配置管理流程。通过一个直观的 Web 界面,用户可以轻松查看、编辑和管理配置
- 动态配置更新: Nacos 支持实时推送配置变更,无需重启 Pod 即可使新的配置生效,大大提升了系统的灵活性和响应速度。
- 灰度发布支持: Nacos 支持配置灰度发布功能,可以针对特定的服务实例或环境推送配置变更。通过 Nacos 的灰度发布功能,可以在部分实例上测试新的配置,确保其稳定后再逐步推广到所有实例。
- 敏感信息安全存储: Nacos 提供了多层次的安全机制,包括配置加密、安全传输等,确保敏感信息的安全性。
- 丰富的多语言支持: Nacos 提供了丰富的多语言支持,涵盖了 Java\Go\Python 无论您的微服务架构基于何种技术栈,只要它们能够接入 Nacos,就可以享受到一致性的配置管理体验。
最近,伴随着 Nacos 3.0-Beta 版本的发布,Nacos 社区发布了 Nacos-Controller 2.0 版本,它可以帮助同步 K8s 的 Service 到 Nacos,同时也支持 K8s 的 Configmap、Secret 与 Nacos 配置的双向同步。基于 Nacos-Controller 2.0,可以实现 Nacos 一键托管 K8s 配置,使用 Nacos 赋能 K8s 配置管理。接下来就让我们来看看如何使用 Nacos 来管理 K8s 配置吧。
使用 Nacos-Controller 一键托管 K8s 配置
Nacos Controller 2.0 支持 Kubernetes 集群配置和 Nacos 配置的双向同步,支持将 Kubernetes 集群特定命名空间下的 ConfigMap 以及 Secret 同步到 Nacos 指定命名空间下中。用户可以通过 Nacos 实现对于 Kubernetes 集群配置的动态修改和管理。Nacos 配置和 Kubernetes 配置的映射关系如下表所示:
ConfigMap/Secret | Nacos Config |
---|---|
Namespace | 用户指定的命名空间 |
Name | Group |
Key | DataId |
Value | Content |
目前主要支持两种配置同步的策略:
- 全量同步:Kubernetes 集群特定命名空间下的所有 ConfigMap 以及 Secret 自动同步至 Nacos,Nacos Controller 会自动同步所有新建的 ConfigMap 和 Secret
- 部分同步:只同步用户指定的 ConfigMap 和 Secret 至 Nacos
部署 Nacos Controller
-
安装 helm,参考文档【1】
-
安装 Nacos Controller 到对应的 kubernetes 集群中
bash
git clone https://github.com/nacos-group/nacos-controller.git
cd nacos-controller/charts/nacos-controller
export KUBECONFIG=/你的K8s集群/访问凭证/文件路径
kubectl create ns nacos
helm install -n nacos nacos-controller .
快速开始
通过以下的命令,你可以快速将 kubernetes 集群中当前命名空间的配置全量同步到 Nacos 中。
bash
cd nacos-controller
chmod +x configQuicStart.sh
./configQuicStart.sh <nacos-addr> <nacos-namespace-id>
除此之外,你还可以参照以下说明:根据自己的需要编写 DynamicConfiguration yaml 文件,并部署到 K8s 集群中。
K8s 集群命名空间配置全量同步 Nacos
- 编写 DynamicConfiguration yaml 文件:
yaml
apiVersion: nacos.io/v1
kind: DynamicConfiguration
metadata:
name: dc-demo
spec:
nacosServer:
# endpoint: nacos地址服务器,与serverAddr互斥,优先级高于serverAddr,与serverAddr二选一即可
endpoint: <your-nacos-server-endpoint>
# serverAddr: nacos地址,与endpoint二选一即可
serverAddr: <your-nacos-server-addr>
# namespace: 用户指定的命名空间
namespace: <your-nacos-namespace-id>
# authRef: 引用存放Nacos 客户端鉴权信息的Secret,支持用户名/密码 和 AK/SK, Nacos服务端未开启鉴权可忽略
authRef:
apiVersion: v1
kind: Secret
name: nacos-auth
strategy:
# scope: 同步策略,full 表示全量同步,partial 表示部分同步
scope: full
# 是否同步配置删除操作
syncDeletion: true
# conflictPolicy: 同步冲突策略,preferCluster 表示初次同步内容冲突时以Kubernetes集群配置为准,preferServer 表示以Nacos配置为准
conflictPolicy: preferCluster
---
apiVersion: v1
kind: Secret
metadata:
name: nacos-auth
data:
#阿里云Mse Nacos采用AK SK进行鉴权
accessKey: <base64 ak>
secretKey: <base64 sk>
#开源Nacos采用用户名密码进行鉴权
username: <base64 your-nacos-username>
password: <base64 your-nacos-password>
- 执行命令部署 DynamicConfiguration 到需要全量同步的 Kubernetes 集群命名空间下, 即可实现配置的全量同步
arduino
kubectl apply -f dc-demo.yaml -n <namespace>
K8s 集群命名空间配置部分同步 Nacos
- 编写 DynamicConfiguration yaml 文件,和全量同步的区别主要在于 strategy 部分,并且要指定需要同步的 ConfigMap 和 Secret:
yaml
apiVersion: nacos.io/v1
kind: DynamicConfiguration
metadata:
name: dc-demo
spec:
nacosServer:
# endpoint: nacos地址服务器,与serverAddr互斥,优先级高于serverAddr,与serverAddr二选一即可
endpoint: <your-nacos-server-endpoint>
# serverAddr: nacos地址,与endpoint二选一即可
serverAddr: <your-nacos-server-addr>
# namespace: 用户指定的命名空间
namespace: <your-nacos-namespace-id>
# authRef: 引用存放Nacos 客户端鉴权信息的Secret,支持用户名/密码 和 AK/SK, Nacos服务端未开启鉴权可忽略
authRef:
apiVersion: v1
kind: Secret
name: nacos-auth
strategy:
# scope: 同步策略,full 表示全量同步,partial 表示部分同步
scope: partial
# 是否同步配置删除操作
syncDeletion: true
# conflictPolicy: 同步冲突策略,preferCluster 表示初次同步内容冲突时以Kubernetes集群配置为准,preferServer 表示以Nacos配置为准
conflictPolicy: preferCluster
# 需要同步的ConfigMap和Secret
objectRefs:
- apiVersion: v1
kind: ConfigMap
name: nacos-config-cm
- apiVersion: v1
kind: Secret
name: nacos-config-secret
---
apiVersion: v1
kind: Secret
metadata:
name: nacos-auth
data:
accessKey: <base64 ak>
secretKey: <base64 sk>
username: <base64 your-nacos-username>
password: <base64 your-nacos-password>
- 执行命令部署 DynamicConfiguration 到需要同步的 Kubernetes 集群命名空间下,即可实现配置的部分同步
arduino
kubectl apply -f dc-demo.yaml -n <namespace>
通过以上的步骤,Nacos Controller 就会根据我们提供的 DynamicConfiguration 配置信息,自动实现 K8s 集群配置和 Nacos 配置之间的全量同步或者部分同步,让我们来看看具体效果吧!
效果演示
以全量同步为例,在完成 Nacos-controller 的部署后,我们执行以下命令,查看当前 K8s 集群中默认命名空间下的 ConfigMap:
arduino
% kubectl get configmap
NAME DATA AGE
kube-root-ca.crt 1 63m
可以发现当前只有 kube-root-ca.crt 一个配置。
编写 DynamicConfiguration yaml 文件,选择全量同步模式,并执行命令部署:
yaml
apiVersion: nacos.io/v1
kind: DynamicConfiguration
metadata:
name: dc-demo
spec:
nacosServer:
endpoint: nacos-serverAddr
serverAddr: nacos-serverAddr
namespace: xxxxxxxxxxxxxxxxx #选择要同步到的nacos命名空间
strategy:
scope: full
syncDeletion: true
conflictPolicy: preferCluster
kubectl apply -f dc-demo.yaml
查看对应的 Nacos 控制台:

可以发现对应的命名空间下面已经多了一条分组为 configmap.kube-root-ca.crt,dataId 为 ca.crt 的 Nacos 配置,对应的 K8s 配置已经同步到了 Nacos 中。
此时我们通过 kubectl 命令在 K8s 中再创建一个 ConfigMap:
vbnet
apiVersion: v1
kind: ConfigMap
metadata:
name: testconfig
namespace: default
data:
test.properties: "Hello, World"
kubectl apply -f test.yaml
查看 Nacos 控制台,可以发现命名空间下已经也多了一条对应的 Nacos 配置,dataId 为 ConfigMap 中的 Key,分组为 ConfigMap的Name:

在 Nacos 控制台上编辑对应的配置内容并发布:

通过 kubectl 查看对应的 ConfigMap 内容:
markdown
kubectl describe configmap testconfig
Name: testconfig
Namespace: default
Labels: <none>
Annotations: <none>
Data
====
test.properties:
----
Hi, World
BinaryData
====
Events: <none>
可以发现对应的配置内容产生了更改,Nacos 上对于配置内容的变更同步到了 K8s 集群中。
同时,通过 Nacos 的历史版本功能,还可以对历史变更操作进行溯源定位,比较每个版本之间的内容差异,并在故障发生时及时回滚:

通过 Nacos-Controller 将 K8s 集群配置托管至 Nacos,用户可以使用 Nacos 控制台对 K8s 配置进行白屏化管理,避免使用 kubectl 进行的黑屏操作。同时,在 Nacos 上可以对不同环境的配置(开发、线上、测试)进行统一的管理,历史版本功能也能帮助用户进行审计、溯源和恢复。目前,Nacos-Controller 2.0 已经和 Nacos 3.0-BETA 版本同步发布,快来体验下吧。
接入 Nacos 高阶配置管理能力
Nacos-Controller 2.0 支持将 K8s 集群配置托管至 Nacos 进行双向同步,让 K8s 配置拥有了历史版本,白屏化操作以及配置集中化管理等能力。
而如果你希望能够更加高效的对应用配置进行管理,对配置管理还有以下的更高的要求:
- 动态配置生效: 配置的更改能够直接在应用中生效,无需重启。
- 配置灰度发布: 配置更新上线时,先在小部分节点进行灰度验证,确认无风险后再全量推送。
- 敏感配置安全存储: 我的配置中存储了密钥等敏感机密的信息,要保证这些信息不会泄露。
- 配置监听查询: 我希望直观的了解有哪些节点在使用这份配置。
那我们建议你采用第二种方式:在应用中接入 Nacos sdk,即可轻松享受 Nacos 提供的以上高阶配置管理能力:
配置灰度
Nacos 支持基于 IP 的灰度发布:

正式节点监听到的内容:
makefile
receive:Hi, World
IP=192.168.255.254 的灰度节点监听到的内容:
makefile
receive:Hi, World Gray
阿里云企业版 Mse Nacos 还额外提供了更强大的多版本标签灰度的能力,欢迎了解。
配置监听查询
在 Nacos 控制台上可以轻松查看有哪些客户端监听了对应的配置
敏感信息安全传输和存储
如果敏感信息以明文形式存储或传输,容易成为黑客攻击的目标,导致数据泄露或系统被滥用。这些信息一旦泄露,可能对用户隐私、企业安全和系统稳定性造成严重影响。Nacos 配置中心支持配置加密功能,并支持 TLS 传输加密,建设了完善的零信任安全体系,可以对存放在 Nacos 上的敏感信息从存储到传输的全链路加密,大大提高安全性:

MSE Nacos 更进一步,和阿里云秘钥管理服务 KMS 合作,支持对配置进行安全等级更高的非对称加密。针对数据安全隐患,MSE Nacos 可为敏感配置提供满足国家三级等保中数据安全要求的解决方案。
应用接入 Nacos SDK
以 Java 为例,当用户没有接入 Nacos,直接通过环境变量或者文件方式去 K8s 配置变化时,一般采用轮训的方式:
ini
String ENV_VARIABLE_NAME = "YOUR_ENV_VARIABLE_NAME"; // 替换为您的环境变量名称
String lastValue = System.getenv(ENV_VARIABLE_NAME);
ScheduledExecutorService executorService = Executors.newScheduledThreadPool(1);
// 每5秒检查一次环境变量的变化
executorService.scheduleAtFixedRate(() -> {
String currentValue = System.getenv(ENV_VARIABLE_NAME);
if (currentValue != null && !currentValue.equals(lastValue)) {
System.out.println("环境变量 " + ENV_VARIABLE_NAME + " 发生变化: 从 " + lastValue + " 变为 " + currentValue);
lastValue = currentValue;
}
}, 0, 5, TimeUnit.SECONDS);
而只修改几行代码,就可以接入 Nacos Java sdk,享受到 Nacos 配置管理的高阶功能:
ini
String serverAddr = "{serverAddr}";
String dataId = "{dataId}";
String group = "{group}";
Properties properties = new Properties();
# 指定Nacos的地址
properties.put("serverAddr", serverAddr);
ConfigService configService = NacosFactory.createConfigService(properties);
# 查询Nacos的配置
String content = configService.getConfig(dataId, group, 5000);
# 监听Nacos的配置
configService.addListener(dataId, group, new Listener() {
@Override
public void receiveConfigInfo(String configInfo) {
System.out.println("recieve1:" + configInfo);
}
@Override
public Executor getExecutor() {
return null;
}
});
而除了 Java 之外,Nacos 还提供了丰富的多语言支持,覆盖了 Go/Python 等热门编程语言,对应的开源社区也非常活跃,无论您的应用使用的是以上什么类型的编程语言,都可以采用类似的方式轻松接入,享受到 Nacos 高阶的配置管理能力。
结语
无论是使用 Nacos-Controller 实现配置的双向同步,还是直接在应用中接入 Nacos SDK 以获得更高级的配置管理特性,都能显著提升配置管理的灵活性、安全性和可维护性。使用 Nacos,您能够更好地管理和优化您的应用配置,从而提高系统的稳定性和可靠性。此外,Nacos-Controller 2.0 还支持 Nacos 服务和 K8S Service 的同步。近期,Nacos 3.0-BETA 版本也已经重磅发布,在安全性方面显著提升,同时增加了分布式锁,模糊订阅等新特性,欢迎各位体验使用。
安装 helm,参考文档helm.sh/docs/intro/...
相关链接
1\] Nacos 官网 *[nacos.io](https://link.juejin.cn?target=https%3A%2F%2Fnacos.io "https://nacos.io")* \[2\] Nacos Github 主仓库 *[github.com/alibaba/nac...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Falibaba%2Fnacos "https://github.com/alibaba/nacos")* \[3\] 生态组仓库 *[github.com/nacos-group](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group "https://github.com/nacos-group")* \[4\] MSE 配置灰度发布 *[help.aliyun.com/zh/mse/user...](https://link.juejin.cn?target=https%3A%2F%2Fhelp.aliyun.com%2Fzh%2Fmse%2Fuser-guide%2Fconfigure-canary-release "https://help.aliyun.com/zh/mse/user-guide/configure-canary-release")* **Nacos 多语言生态仓库:** \[1\] Nacos-GO-SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-go "https://github.com/nacos-group/nacos-sdk-go")* \[2\] Nacos-Python-SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-python "https://github.com/nacos-group/nacos-sdk-python")* \[3\] Nacos-Rust-SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-rust "https://github.com/nacos-group/nacos-sdk-rust")* \[4\] Nacos C# SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-csharp "https://github.com/nacos-group/nacos-sdk-csharp")* \[5\] Nacos C++ SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-cpp "https://github.com/nacos-group/nacos-sdk-cpp")* \[6\] Nacos PHP-SDK *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fnacos-sdk-php "https://github.com/nacos-group/nacos-sdk-php")* \[7\] Rust Nacos Server *[github.com/nacos-group...](https://link.juejin.cn?target=https%3A%2F%2Fgithub.com%2Fnacos-group%2Fr-nacos "https://github.com/nacos-group/r-nacos")*