记一次折腾:家庭服务器k3s双栈部署

⚠️⚠️Warning: 流水帐警告⚠️⚠️

『背景』介绍

前两周搞了台洋垃圾服务器放在家里,想着玩玩k8s顺便部署些自己写的小玩意,于是在服务器上开了一台虚拟机做k8s单机集群。

首先想到要部署的应用是DDNS,以方便我在外面访问服务器。我自己对服务器网络系统的要求是ipv6优先,但公司办公室的网络只支持ipv4,而我又需要在公司访问服务器。因此我的k8s集群必须支持双栈,在此记录搭建集群过程中获得的经验与教训。

『Debian』 + 『k3s』

首先要做的是底层系统选型,包括宿主机OS和k8s。网上有找到很多方案,从all-in-one到纯手工部署各个组件都有各自的教程。我是个懒人,因此首先找OS+k8s二合一的方案。经过查找,最合适的只有k3os,但它已经被rancher官方放弃维护。因此只能退而求其次,分别寻找Linux+k8s方案。

我使用过的Linux发行版不算多,主流的像CentOS 7/8,Ubuntu 18/20/22,Debian 12,Alpine等都在各自的最适场景下尝试过。由于个人对公司控制的发行版不太感冒(说的就是你RedHat和Ubuntu),因此直接选择Debian 12。

k8s也有很多发行版,我找到适合懒人的只有microk8s和k3s两个,microk8s是Canonical发行的,适配Ubuntu,因此直接pass掉。最终只有k3s一个选择

『硬磕』

首先说我的体会吧,服务器的三大基础系统:PVE、Debian和k3s三兄弟中最难搞的就是k3s,其中主要的难点在于它文档的落后与不完整。我一上手基本都是按官方指南一步步来,但预料之外的问题一个接一个。

按照官方文档的指示安装后,发现pod内ping不通ipv6-test.com。一番查找过后,这个issue中找到有人说是宿主机获取ipv6地址的方式不对,应该用SLAAC。而我改成SLAAC后仍然ping不通。然后我就开始怀疑是不是因为pod没有被授予公开ipv6地址。于是改了cluster-cidr和service-cidr,让它们匹配路由器SLAAC前缀,但仍然不行。最后我又怀疑是flannel插件把宿主机的路由规则搞坏了,因此按照这个评论的指示修复了宿主机路由。嘿,您猜怎么着,还是不行。。

事情的转机在薅头发时无意中看到了k3s的一个配置项--flannel-ipv6-masq,加上去后突然就好了。。。我猜是因为安全性要求导致k8s默认不授予pod公开ipv6地址,必须mask一下。

最后记录一下我最终使用的配置:

  1. 路由器改为SLAAC

  2. 编辑/etc/sysctl.conf,加入以下两行:

    text 复制代码
    net.ipv6.conf.all.accept_ra=2
    net.ipv6.conf.<主网卡id>.accept_ra=2
  3. 运行以下命令:

    bash 复制代码
    curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | \
      INSTALL_K3S_MIRROR=cn \
      INSTALL_K3S_EXEC='--cluster-cidr=10.42.0.0/16,2001:cafe:42:0::/56 --service-cidr=10.43.0.0/16,2001:cafe:42:1::/112' \
      sh -s - --tls-san <你的域名> \
      --flannel-backend=wireguard-native \
      --kube-controller-manager-arg='--allocate-node-cidrs=true' \
      --flannel-ipv6-masq
相关推荐
柒.梧.18 小时前
从0到1理解K8s:为什么用、怎么设计、如何搭建
云原生·容器·kubernetes
July_1019 小时前
凌晨 3 点的报警:K8s 集...
kubernetes
petrel201519 小时前
【Spark】性能与联通性的终极博弈:Spark on K8s 主机网络改造深度实战
大数据·网络·spark·kubernetes·claude code
切糕师学AI19 小时前
Kubernetes CRD(自定义资源,CustomResourceDefinition)详解
云原生·容器·kubernetes
一个向上的运维者20 小时前
从 K8s Device Plugin 到 Volcano 多元算力管理:GPU 显存共享实战与深度解析
云原生·容器·kubernetes
merlin-mm20 小时前
云平台构建 RDMA高性能网络
网络·云原生·容器·kubernetes
极客on之路21 小时前
docker 和 Kubernetes(K8s) 总结
docker·容器·kubernetes
罗技1231 天前
在 Kubernetes 上用 Fluent Bit 收集 Nginx 日志到 Easysearch
nginx·kubernetes·jenkins
丈剑走天涯1 天前
kubernetes Jenkins 二进制安装指南
java·kubernetes·jenkins
roman_日积跬步-终至千里1 天前
【k8s 实战】使用 Helm 在 Minikube 部署 StarRocks(实战避坑指南)
云原生·容器·kubernetes