记一次折腾:家庭服务器k3s双栈部署

⚠️⚠️Warning: 流水帐警告⚠️⚠️

『背景』介绍

前两周搞了台洋垃圾服务器放在家里,想着玩玩k8s顺便部署些自己写的小玩意,于是在服务器上开了一台虚拟机做k8s单机集群。

首先想到要部署的应用是DDNS,以方便我在外面访问服务器。我自己对服务器网络系统的要求是ipv6优先,但公司办公室的网络只支持ipv4,而我又需要在公司访问服务器。因此我的k8s集群必须支持双栈,在此记录搭建集群过程中获得的经验与教训。

『Debian』 + 『k3s』

首先要做的是底层系统选型,包括宿主机OS和k8s。网上有找到很多方案,从all-in-one到纯手工部署各个组件都有各自的教程。我是个懒人,因此首先找OS+k8s二合一的方案。经过查找,最合适的只有k3os,但它已经被rancher官方放弃维护。因此只能退而求其次,分别寻找Linux+k8s方案。

我使用过的Linux发行版不算多,主流的像CentOS 7/8,Ubuntu 18/20/22,Debian 12,Alpine等都在各自的最适场景下尝试过。由于个人对公司控制的发行版不太感冒(说的就是你RedHat和Ubuntu),因此直接选择Debian 12。

k8s也有很多发行版,我找到适合懒人的只有microk8s和k3s两个,microk8s是Canonical发行的,适配Ubuntu,因此直接pass掉。最终只有k3s一个选择

『硬磕』

首先说我的体会吧,服务器的三大基础系统:PVE、Debian和k3s三兄弟中最难搞的就是k3s,其中主要的难点在于它文档的落后与不完整。我一上手基本都是按官方指南一步步来,但预料之外的问题一个接一个。

按照官方文档的指示安装后,发现pod内ping不通ipv6-test.com。一番查找过后,这个issue中找到有人说是宿主机获取ipv6地址的方式不对,应该用SLAAC。而我改成SLAAC后仍然ping不通。然后我就开始怀疑是不是因为pod没有被授予公开ipv6地址。于是改了cluster-cidr和service-cidr,让它们匹配路由器SLAAC前缀,但仍然不行。最后我又怀疑是flannel插件把宿主机的路由规则搞坏了,因此按照这个评论的指示修复了宿主机路由。嘿,您猜怎么着,还是不行。。

事情的转机在薅头发时无意中看到了k3s的一个配置项--flannel-ipv6-masq,加上去后突然就好了。。。我猜是因为安全性要求导致k8s默认不授予pod公开ipv6地址,必须mask一下。

最后记录一下我最终使用的配置:

  1. 路由器改为SLAAC

  2. 编辑/etc/sysctl.conf,加入以下两行:

    text 复制代码
    net.ipv6.conf.all.accept_ra=2
    net.ipv6.conf.<主网卡id>.accept_ra=2
  3. 运行以下命令:

    bash 复制代码
    curl -sfL https://rancher-mirror.rancher.cn/k3s/k3s-install.sh | \
      INSTALL_K3S_MIRROR=cn \
      INSTALL_K3S_EXEC='--cluster-cidr=10.42.0.0/16,2001:cafe:42:0::/56 --service-cidr=10.43.0.0/16,2001:cafe:42:1::/112' \
      sh -s - --tls-san <你的域名> \
      --flannel-backend=wireguard-native \
      --kube-controller-manager-arg='--allocate-node-cidrs=true' \
      --flannel-ipv6-masq
相关推荐
人间打气筒(Ada)18 小时前
k8s:CNI网络插件flannel与calico
linux·云原生·容器·kubernetes·云计算·k8s
江畔何人初19 小时前
pod的内部结构
linux·运维·云原生·容器·kubernetes
苦逼IT运维1 天前
从 0 到 1 理解 Kubernetes:一次“破坏式”学习实践(一)
linux·学习·docker·容器·kubernetes
腾讯云开发者1 天前
言出法随 -- Chaterm如何通过ASR精准操作K8S
云原生·容器·kubernetes
伟大的大威1 天前
NVIDIA DGX Spark (ARM64/Blackwell) Kubernetes 集群 + GPU Operator 完整部署指南
大数据·spark·kubernetes
only_Klein1 天前
kubernetes Pod 通信过程演示
网络·kubernetes·tcpdump
为什么不问问神奇的海螺呢丶1 天前
n9e categraf k8s监控配置 -cadvisor
云原生·容器·kubernetes
炸裂狸花猫1 天前
开源域名代理与流量限制方案 - Cloudflare + Ingress + 自签名证书
运维·云原生·容器·kubernetes·cloudflare·waf·免费域名证书
only_Klein1 天前
jenkins流水线报错:Connection reset by peer
ci/cd·kubernetes·gitlab·jenkins·ssl
南宫乘风1 天前
Kubernetes 网络问题排查:在宿主机对 Pod 抓包(nsenter + tcpdump 实战)
网络·kubernetes·tcpdump