记一次折腾:家庭服务器k3s双栈部署

⚠️⚠️Warning: 流水帐警告⚠️⚠️

『背景』介绍

前两周搞了台洋垃圾服务器放在家里,想着玩玩k8s顺便部署些自己写的小玩意,于是在服务器上开了一台虚拟机做k8s单机集群。

首先想到要部署的应用是DDNS,以方便我在外面访问服务器。我自己对服务器网络系统的要求是ipv6优先,但公司办公室的网络只支持ipv4,而我又需要在公司访问服务器。因此我的k8s集群必须支持双栈,在此记录搭建集群过程中获得的经验与教训。

『Debian』 + 『k3s』

首先要做的是底层系统选型,包括宿主机OS和k8s。网上有找到很多方案,从all-in-one到纯手工部署各个组件都有各自的教程。我是个懒人,因此首先找OS+k8s二合一的方案。经过查找,最合适的只有k3os,但它已经被rancher官方放弃维护。因此只能退而求其次,分别寻找Linux+k8s方案。

我使用过的Linux发行版不算多,主流的像CentOS 7/8,Ubuntu 18/20/22,Debian 12,Alpine等都在各自的最适场景下尝试过。由于个人对公司控制的发行版不太感冒(说的就是你RedHat和Ubuntu),因此直接选择Debian 12。

k8s也有很多发行版,我找到适合懒人的只有microk8s和k3s两个,microk8s是Canonical发行的,适配Ubuntu,因此直接pass掉。最终只有k3s一个选择

『硬磕』

首先说我的体会吧,服务器的三大基础系统:PVE、Debian和k3s三兄弟中最难搞的就是k3s,其中主要的难点在于它文档的落后与不完整。我一上手基本都是按官方指南一步步来,但预料之外的问题一个接一个。

按照官方文档的指示安装后,发现pod内ping不通ipv6-test.com。一番查找过后,这个issue中找到有人说是宿主机获取ipv6地址的方式不对,应该用SLAAC。而我改成SLAAC后仍然ping不通。然后我就开始怀疑是不是因为pod没有被授予公开ipv6地址。于是改了cluster-cidr和service-cidr,让它们匹配路由器SLAAC前缀,但仍然不行。最后我又怀疑是flannel插件把宿主机的路由规则搞坏了,因此按照这个评论的指示修复了宿主机路由。嘿,您猜怎么着,还是不行。。

事情的转机在薅头发时无意中看到了k3s的一个配置项--flannel-ipv6-masq,加上去后突然就好了。。。我猜是因为安全性要求导致k8s默认不授予pod公开ipv6地址,必须mask一下。

最后记录一下我最终使用的配置:

  1. 路由器改为SLAAC

  2. 编辑/etc/sysctl.conf,加入以下两行:

    text 复制代码
    net.ipv6.conf.all.accept_ra=2
    net.ipv6.conf.<主网卡id>.accept_ra=2
  3. 运行以下命令:

    bash 复制代码
    curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | \
      INSTALL_K3S_MIRROR=cn \
      INSTALL_K3S_EXEC='--cluster-cidr=10.42.0.0/16,2001:cafe:42:0::/56 --service-cidr=10.43.0.0/16,2001:cafe:42:1::/112' \
      sh -s - --tls-san <你的域名> \
      --flannel-backend=wireguard-native \
      --kube-controller-manager-arg='--allocate-node-cidrs=true' \
      --flannel-ipv6-masq
相关推荐
matlab的学徒1 小时前
Kubernetes(K8S)全面解析:核心概念、架构与实践指南
linux·容器·架构·kubernetes
没有口袋啦3 小时前
K8s集群多节点部署(Ubuntu22.04)
docker·云原生·容器·kubernetes
荣光波比3 小时前
K8S(三)—— 基于kubeadm 1.20版本部署Kubernetes集群与Harbor私有仓库实战
云原生·容器·kubernetes
荣光波比4 小时前
K8S(二)—— K8S 1.28 集群部署指南(kubeadm 方式)
云原生·容器·kubernetes
问道飞鱼4 小时前
【Kubernets进阶】Kubernetes VPA (Vertical Pod Autoscaler) 详解与配置指南
云原生·容器·kubernetes·vpa
荣光波比21 小时前
K8S(一)—— 云原生与Kubernetes(K8S)从入门到实践:基础概念与操作全解析
云原生·容器·kubernetes
伞啊伞21 小时前
K8s概念基础(一)
云原生·容器·kubernetes
hello_2501 天前
k8s基础监控promql
云原生·容器·kubernetes
静谧之心1 天前
在 K8s 上可靠运行 PD 分离推理:RBG 的设计与实现
云原生·容器·golang·kubernetes·开源·pd分离
1024find1 天前
Spark on k8s部署
大数据·运维·容器·spark·kubernetes