K8s 多租户方案的挑战与价值

在当今企业环境中，随着业务的快速增长和多样化，服务器和云资源的管理会越来越让人头疼。K8s 虽然很强大，但在处理多个部门或团队的业务部署需求时，如果缺乏有效的多租户支持，在效率和资源管理方面都会不尽如人意。

本文将深入探讨 K8s 多租户的概念、其在现代企业中的应用价值，以及实现这一机制所面临的技术挑战和解决方案。

K8s 多租户的价值

"多租户"是一种软件架构的设计方式，允许多个用户（租户）共享相同的系统或程序组件，同时保持各自数据的隔离性和安全性。在 K8s 环境中，实现有效的多租户机制意味着能够在同一 K8s 集群中运行多个独立的租户工作负载，而无需担心资源冲突、数据泄露或安全问题。

没有多租户支持的挑战

当企业购买很多服务器并安装 K8s 后，企业内部多个部门 (例如 20 个) 可能都需要在同一集群上部署各自的业务应用。在没有多租户机制的情况下，这种集群使用方式有很多弊端：

**低效率：**每个部门不能自主使用集群，必须通过集群管理员进行部署和管理。不仅减慢了部署进程，还可能造成排队等待的情况，大大降低工作效率。
**资源利用不充分：**业务应用不能混合部署，需要对服务器资源进行划分，最终可能会导致资源无法充分利用，造成浪费。
**业务和资源管理混乱：**在一个没有租户隔离的集群中，各部门的业务相互干扰，难以管理。随着时间的推移，集群的管理和运维变得越来越复杂。
**规模扩展受限：**在一个单一租户的环境下，集群难以支持多样化的业务需求，限制了企业的扩展能力。

多租户架构的优势

一旦有了多租户能力，企业就可以真正意义上构建自己的云环境，实现资源的最大化利用和高效管理：

**资源管理有序：**通过账户系统，每个部门可以自主管理其资源使用，无需担心资源分配和使用上的混乱。
**效率大幅提升：**各部门可以独立进行业务部署和更新，无需麻烦集群管理员，极大提高了操作效率和业务的灵活性。
**资源扩展灵活：**集群管理员只需关注整个集群的资源状况，而不是单个业务应用，资源按需分配和扩展会更加灵活和高效。
**业务隔离保障稳定性：**不同部门的业务应用在集群中彼此隔离，避免了相互干扰，保障了业务的稳定运行。

K8s 多租户的挑战

在 K8s 环境中实现多租户架构难度非常大，不是简单使用命名空间的能力就能实现的，还涉及到非常多的技术挑战。

挑战 1：防止越权

在 K8s 多租户环境中，限制每个用户的权限是关键。当多个用户共享一个集群时，一个权限过高的用户可能会对整个集群构成致命威胁。例如，禁止用户访问服务器节点或执行节点级别的操作，如使用 kubectl get node 命令。此外，需要限制其他高风险操作，如启用容器特权模式、共享主机文件系统、端口和网络等。

为了解决这些问题，Sealos 在其底层架构中采用了多种隔离手段。例如，使用 OpenEBS 进行存储的块级别隔离，Firecracker 以及 Cloud Hypervisor 用于计算运行时的隔离，以及通过 Cilium 实现网络隔离。这些措施确保即使在共享环境中，每个租户的操作也不会影响到其他租户。

挑战 2：用户的概念、授权与命名空间绑定

K8s 本身不具备原生的用户管理系统。因此，需要通过扩展功能来构建用户概念，与第三方用户系统对接，为每个用户生成独立的 kubeconfig 认证文件或 token。此外，需要建立用户与命名空间 (namespace) 之间的多对多关系，并为用户分配适当的权限。

Sealos 的设计允许管理员将用户加入特定的命名空间，并对其角色进行管理，从而有效地控制权限。这样管理员就可以细粒度地管理用户权限，确保每个用户只能访问和修改他们被授权的资源。

挑战 3：计量与配额管理

在多租户环境中，合理地分配和监控资源使用是另一个重大挑战。需要明确每个租户使用了多少 CPU、内存、磁盘和网络资源，并在资源使用超出配额时进行适当的处理。网络计量尤其复杂，需要区分内外网流量，而且要追踪到达特定容器的流量，并确定这些容器属于哪个租户。

Sealos 采用 eBPF 技术来监控网络流量，并通过控制器将流量数据与租户信息相关联，存储到数据库中。这样可以与计量计费系统对接，实现对资源使用的准确计费。对于计算和存储资源的监控，Sealos 同样采用了控制器来收集和管理这些信息。

Sealos 多租户的挑战

如果说上面的这些问题很难解决，那么 Sealos 的场景是在上述难度上乘以了 10 倍 ，因为 Sealos 选择了在公网这个不可信的环境中解决多租户问题，意味着给任意的开发者公开注册，然后一起共享一个 K8s 集群。

公网环境的不可信性和开放性使得实现多租户变得尤为复杂。在这种环境下，任何开发者都可以注册并共享同一个 K8s 集群，这就带来了巨大的安全和稳定性挑战。但是，如果能够成功实现，其好处也是显而易见的：

成本效益：用户无需单独搭建和维护完整的集群，显著降低了云服务的使用成本。
资源优化：允许每个容器运行在更小的规模上，充分利用平台的弹性和资源。
强隔离性：在公网环境中实现良好的多租户隔离，可以确保更高的安全性和稳定性。

前途的光明的，但挑战也是巨大的。

挑战 1：网关限制

Sealos 目前拥有数万注册用户，流量很大，我们几乎已经打爆了市面上很多主流的开源网关。在这种情况下，一个用户的更新可能导致所有其他用户受到影响，因为 Nginx 需要重新加载配置，这显然是不能接受的。

还有某知名网关 (不便透露)，控制器 CPU 很容易就被打爆。

还有某知名网关 (同样不便透露)，数量一多配置生效需要超过两分钟。不过我们已经和上游社区进行了反馈，应该很快会有改进。

挑战 2：运行时隔离问题

Sealos 需要实现强隔离以保证多租户环境的安全。然而，市面上的主流运行时环境并不能满足 Sealos 的隔离需求。例如，Firecracker 无法提供对 GPU 的良好支持，这对于需要高性能计算的应用来说是一个比较严重的限制。

挑战 3：存储隔离问题

Sealos 需要确保不同租户的数据彼此隔离，防止数据泄露或被其他租户错误访问。这就需要实现块级别的存储隔离，挑战也很大。

挑战 4：网络计量和争用管理

最后，网络资源的计量和管理也是多租户环境中的关键问题。Sealos 需要准确地计量每个用户的网络使用情况，并且在资源有限的情况下合理地分配网络资源。当网络资源产生争用时，需要有机制来公平地解决这些争用，确保所有用户都能公平合理地使用网络资源。

总结

多租户成熟了才能算作是一朵真正的云，才能把云的威力发挥到九成以上。面对公网这一极其复杂和不可预测的环境，Sealos 不仅实现了多租户的隔离和安全，还在保障高效运行的同时，降低了成本。且底层使用了非常多优雅的技术方案，彻底解决企业所有开发者共享一朵云的需求。