⚠️⚠️Warning: 流水帐警告⚠️⚠️
『背景』介绍
前两周搞了台洋垃圾服务器放在家里,想着玩玩k8s顺便部署些自己写的小玩意,于是在服务器上开了一台虚拟机做k8s单机集群。
首先想到要部署的应用是DDNS,以方便我在外面访问服务器。我自己对服务器网络系统的要求是ipv6优先,但公司办公室的网络只支持ipv4,而我又需要在公司访问服务器。因此我的k8s集群必须支持双栈,在此记录搭建集群过程中获得的经验与教训。
『Debian』 + 『k3s』
首先要做的是底层系统选型,包括宿主机OS和k8s。网上有找到很多方案,从all-in-one到纯手工部署各个组件都有各自的教程。我是个懒人,因此首先找OS+k8s二合一的方案。经过查找,最合适的只有k3os,但它已经被rancher官方放弃维护。因此只能退而求其次,分别寻找Linux+k8s方案。
我使用过的Linux发行版不算多,主流的像CentOS 7/8,Ubuntu 18/20/22,Debian 12,Alpine等都在各自的最适场景下尝试过。由于个人对公司控制的发行版不太感冒(说的就是你RedHat和Ubuntu),因此直接选择Debian 12。
k8s也有很多发行版,我找到适合懒人的只有microk8s和k3s两个,microk8s是Canonical发行的,适配Ubuntu,因此直接pass掉。最终只有k3s一个选择
『硬磕』
首先说我的体会吧,服务器的三大基础系统:PVE、Debian和k3s三兄弟中最难搞的就是k3s,其中主要的难点在于它文档的落后与不完整。我一上手基本都是按官方指南一步步来,但预料之外的问题一个接一个。
按照官方文档的指示安装后,发现pod内ping不通ipv6-test.com。一番查找过后,这个issue中找到有人说是宿主机获取ipv6地址的方式不对,应该用SLAAC。而我改成SLAAC后仍然ping不通。然后我就开始怀疑是不是因为pod没有被授予公开ipv6地址。于是改了cluster-cidr和service-cidr,让它们匹配路由器SLAAC前缀,但仍然不行。最后我又怀疑是flannel插件把宿主机的路由规则搞坏了,因此按照这个评论的指示修复了宿主机路由。嘿,您猜怎么着,还是不行。。
事情的转机在薅头发时无意中看到了k3s的一个配置项--flannel-ipv6-masq
,加上去后突然就好了。。。我猜是因为安全性要求导致k8s默认不授予pod公开ipv6地址,必须mask一下。
最后记录一下我最终使用的配置:
-
路由器改为SLAAC
-
编辑
/etc/sysctl.conf
,加入以下两行:textnet.ipv6.conf.all.accept_ra=2 net.ipv6.conf.<主网卡id>.accept_ra=2
-
运行以下命令:
bashcurl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | \ INSTALL_K3S_MIRROR=cn \ INSTALL_K3S_EXEC='--cluster-cidr=10.42.0.0/16,2001:cafe:42:0::/56 --service-cidr=10.43.0.0/16,2001:cafe:42:1::/112' \ sh -s - --tls-san <你的域名> \ --flannel-backend=wireguard-native \ --kube-controller-manager-arg='--allocate-node-cidrs=true' \ --flannel-ipv6-masq