记一次折腾:家庭服务器k3s双栈部署

⚠️⚠️Warning: 流水帐警告⚠️⚠️

『背景』介绍

前两周搞了台洋垃圾服务器放在家里,想着玩玩k8s顺便部署些自己写的小玩意,于是在服务器上开了一台虚拟机做k8s单机集群。

首先想到要部署的应用是DDNS,以方便我在外面访问服务器。我自己对服务器网络系统的要求是ipv6优先,但公司办公室的网络只支持ipv4,而我又需要在公司访问服务器。因此我的k8s集群必须支持双栈,在此记录搭建集群过程中获得的经验与教训。

『Debian』 + 『k3s』

首先要做的是底层系统选型,包括宿主机OS和k8s。网上有找到很多方案,从all-in-one到纯手工部署各个组件都有各自的教程。我是个懒人,因此首先找OS+k8s二合一的方案。经过查找,最合适的只有k3os,但它已经被rancher官方放弃维护。因此只能退而求其次,分别寻找Linux+k8s方案。

我使用过的Linux发行版不算多,主流的像CentOS 7/8,Ubuntu 18/20/22,Debian 12,Alpine等都在各自的最适场景下尝试过。由于个人对公司控制的发行版不太感冒(说的就是你RedHat和Ubuntu),因此直接选择Debian 12。

k8s也有很多发行版,我找到适合懒人的只有microk8s和k3s两个,microk8s是Canonical发行的,适配Ubuntu,因此直接pass掉。最终只有k3s一个选择

『硬磕』

首先说我的体会吧,服务器的三大基础系统:PVE、Debian和k3s三兄弟中最难搞的就是k3s,其中主要的难点在于它文档的落后与不完整。我一上手基本都是按官方指南一步步来,但预料之外的问题一个接一个。

按照官方文档的指示安装后,发现pod内ping不通ipv6-test.com。一番查找过后,这个issue中找到有人说是宿主机获取ipv6地址的方式不对,应该用SLAAC。而我改成SLAAC后仍然ping不通。然后我就开始怀疑是不是因为pod没有被授予公开ipv6地址。于是改了cluster-cidr和service-cidr,让它们匹配路由器SLAAC前缀,但仍然不行。最后我又怀疑是flannel插件把宿主机的路由规则搞坏了,因此按照这个评论的指示修复了宿主机路由。嘿,您猜怎么着,还是不行。。

事情的转机在薅头发时无意中看到了k3s的一个配置项--flannel-ipv6-masq,加上去后突然就好了。。。我猜是因为安全性要求导致k8s默认不授予pod公开ipv6地址,必须mask一下。

最后记录一下我最终使用的配置:

  1. 路由器改为SLAAC

  2. 编辑/etc/sysctl.conf,加入以下两行:

    text 复制代码
    net.ipv6.conf.all.accept_ra=2
    net.ipv6.conf.<主网卡id>.accept_ra=2
  3. 运行以下命令:

    bash 复制代码
    curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | \
      INSTALL_K3S_MIRROR=cn \
      INSTALL_K3S_EXEC='--cluster-cidr=10.42.0.0/16,2001:cafe:42:0::/56 --service-cidr=10.43.0.0/16,2001:cafe:42:1::/112' \
      sh -s - --tls-san <你的域名> \
      --flannel-backend=wireguard-native \
      --kube-controller-manager-arg='--allocate-node-cidrs=true' \
      --flannel-ipv6-masq
相关推荐
alden_ygq2 小时前
Kubernetes容器运行时:Containerd vs Docker
docker·容器·kubernetes
张青贤5 小时前
K8s中的containerPort与port、targetPort、nodePort的关系:
云原生·容器·kubernetes
小马爱打代码11 小时前
K8S - GitLab CI 自动化构建镜像入门
ci/cd·kubernetes·gitlab
hi,编程哥14 小时前
Docker、ECS 与 K8s 网段冲突:解决跨服务通信中的路由问题
docker·容器·kubernetes
Cloud Traveler17 小时前
Kubernetes vs. OpenShift:深入比较与架构解析
架构·kubernetes·openshift
杰克逊的日记18 小时前
大规模k8s集群怎么规划
云原生·容器·kubernetes
luck_me518 小时前
K8S已经成为了Ai应用运行的平台工具
人工智能·容器·kubernetes
matrixlzp20 小时前
K8S Ingress、IngressController 快速开始
云原生·容器·kubernetes
探索云原生21 小时前
一文搞懂 GPU 共享方案: NVIDIA Time Slicing
ai·云原生·kubernetes·gpu
格桑阿sir1 天前
Kubernetes控制平面组件:Kubelet 之 Static 静态 Pod
kubernetes·k8s·kubelet·static pod·静态pod·mirror pod·镜像pod