Kubernetes Service控制器详解以及切换为ipvs代理模式

文章目录


一、Service 存在的意义

service的引入主要是为了解决pod的动态变化,提供统一访问入口:

  • 防止Pod失联,找到提供同一个服务的pod(服务发现)
  • 定义一组pod的访问策略(负载均衡)

二、Pod与Service的关系

  • service通过标签关联一组pod(可通过kubectl get ep查看)
  • service为一组pod提供负载均衡的能力
bash 复制代码
[root@k8s-master ~]# kubectl get ep 
NAME                                          ENDPOINTS                                         AGE
kubernetes                                    192.168.77.11:6443                                163d
web3                                          10.244.36.67:80,10.244.36.74:80,10.244.36.92:80   5d2h

三、Service定义与创建

示例一:

1.创建一个service

yaml 复制代码
apiVersion: v1
kind: Service
metadata:
  name: web
  labels:
    app: web
spec:
  type: ClusterIP
  ports:
    - protocol: TCP
      #Service端口,用于集群内部其它pod访问的端口
      port: 80
      #容器中服务运行的端口,可以理解为是容器内应用的端口;例如nginx 80、tomcat 8080、mysql 3306
      targetPort: 9376
  selector:
    #指定关联Pod的标签
    app: web

2.运行此yaml并查看创建的service

bash 复制代码
[root@k8s-master ~]# kubectl apply -f service.yaml 
service/web created
[root@k8s-master ~]# kubectl get svc 
NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
web                     ClusterIP   10.108.117.153   <none>        80/TCP           26s

示例二:

1.多端口Service定义

  • 对于某些服务,需要公开多个端口,Service也需要配置多个端口定义,通过端口名称区分;
yaml 复制代码
apiVersion: v1
kind: Service
metadata:
  name: web2
  labels:
    app: web
spec:
  type: ClusterIP
  ports:
    - name: http
      protocol: TCP
      #Service端口,用于集群内部其它pod访问的端口
      port: 80
      #容器中服务运行的端口,可以理解为是容器内应用的端口;例如nginx 80、tomcat 8080、mysql 3306
      targetPort: 80
    - name: https
      protocol: TCP
      port: 443
      targetPort: 443
  selector:
    #指定关联Pod的标签
    app: web

2.运行此yaml并查看创建的service

bash 复制代码
[root@k8s-master ~]# kubectl apply -f service-mutil.yaml 
service/web2 created
[root@k8s-master ~]# kubectl get svc 
NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
web2                    ClusterIP   10.107.141.88    <none>        80/TCP,443/TCP   5s

四、Service三种常用类型

  • ClusterIP:默认,分配一个稳定的IP地址,即VIP,只能在集群内部访问;
    示例:
yaml 复制代码
...
spec:
  #指定Service的类型
  type: ClusterIP
  ports:
    - protocol: TCP
      #Service端口,用于集群内部其它pod访问的端口
      port: 80
      #容器中服务运行的端口,可以理解为是容器内应用的端口;例如nginx 80、tomcat 8080、mysql 3306
      targetPort: 80
  selector:
    app: web

k8s集群中应用之间的访问使用的就是Cluster IP

  • NodePort:会在每台节点上启用一个端口来暴露服务(接受用户流量),可以在集群外部访问,同时也会分配一个稳定的内部集群IP地址;
    访问地址:<任意NodeIP>:
    默认Nodeport端口范围:30000-32767

在实际情况下,对用户暴露的只会有一个IP和端口,那这么多台Node该使用哪台让用户访问呢?

这时就需要在所有Node前面加一个公网负载均衡器来为项目提供统一访问入口了

示例:

yaml 复制代码
spec:
  #指定Service的类型
  type: NodePort
  ports:
    - name: http
      protocol: TCP
      #Service端口,用于集群内部其它pod访问的端口
      port: 80
      #容器中服务运行的端口,可以理解为是容器内应用的端口;例如nginx 80、tomcat 8080、mysql 3306
      targetPort: 80
      #暴露集群外部访问的端口,默认的话是在30000-32767之间随机的
      nodePort: 30009
  selector:
    #指定关联Pod的标签
    app: web

运行此yaml后验证

bash 复制代码
[root@k8s-master ~]# kubectl apply -f service-nodeport.yaml 
service/web3 created
[root@k8s-master ~]# kubectl get svc 
NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE   53d
kubernetes              ClusterIP   10.96.0.1        <none>        443/TCP          64d
web3                    NodePort    10.97.249.155    <none>        80:30009/TCP     3s
#可以去每个节点上查看NodePort端口,都是有被宿主机监听的
[root@k8s-master ~]# ss -unptl | grep 30009
tcp    LISTEN     0      128       *:30009                 *:*                   users:(("kube-proxy",pid=3729,fd=20))

然后浏览器访问任意节点IP:30009(NodePort端口)

  • LoadBalancer:与NodePort类似,在每个节点上启用一个端口来暴露服务;除此之外,kubernetes会请求底层云平台(例如阿里云、腾讯云、AWS等)上的负载均衡器,将每个Node([NodeIP]:[NodePort])作为后端添加进去。
    tips:实现nginx自动添加配置文件可以使用consul + confd技术方案;

示例:
阿里云ACK LoadBalancer使用方法

五、Service代理模式

官方地址:https://kubernetes.io/docs/reference/networking/virtual-ips/

service的底层实现主要由iptables和ipvs两种网络模式来决定如何转发流量

  • iptables模式:
    如上图,当客户端去访问servcie时 iptables会帮我们将请求转发至后端的pod上,注意iptables是有相对应的规则的,这些规则就是kube-proxy来进行维护的 service本就是一种抽象的资源 它不具备任何转发的能力;
  • ipvs代理模式:大致上跟iptables模式一致,当访问servcie时,ipvs会将请求转发至后端的pod,也是kube-proxy来进行维护转发规则的,所以这是不同的转发机制来实现的数据包的转发
    注意:services不是具体实现转发的,而是背后的iptables/ipvs来实现的;

查看负载均衡规则命令如下:

  • iptables模式
    iptables-save | grep [SERVICE-NAME]
  • ipvs模式
    ipvsadm -L -n

处理一个请求的流程:

客户端 ---> NodePort/ClusterIP(iptables/ipvs负载均衡规则) ---> 分布在各个节点Pod

bash 复制代码
[root@k8s-master goodgood_study]# kubectl get svc 
NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
kubernetes              ClusterIP   10.96.0.1        <none>        443/TCP          157d
web3                    ClusterIP   10.105.175.220   <none>        80/TCP           2s

[root@k8s-master ~]# kubectl get pod -o wide 
NAME                                     READY   STATUS    RESTARTS   AGE    IP               NODE        NOMINATED NODE   READINESS GATES
web-7fbc4b76bd-2z8zn                     1/1     Running   0          28h    10.244.36.74     k8s-node1   <none>           <none>
web-7fbc4b76bd-8qfn8                     1/1     Running   0          28h    10.244.36.67     k8s-node1   <none>           <none>
web-7fbc4b76bd-xzxrf                     1/1     Running   0          28h    10.244.36.92     k8s-node1   <none>           <none>


第一步:流量入口
[root@k8s-master goodgood_study]# iptables-save  | grep web3 
#NodePort流量入口
#在kube-service这个链中,如果访问的是10.105.175.22这个cluster ip并且为32306端口 就会转发到KUBE-SVC-W7NV5DSNKK4ZSGFV这个链中(-j 为重定向的意思)
-A KUBE-NODEPORTS -p tcp -m comment --comment "default/web3:http" -m tcp --dport 32306 -j KUBE-SVC-W7NV5DSNKK4ZSGFV

#ClusterIP流量入口
#在kube-service这个链中,如果访问的是10.105.175.22这个cluster ip并且为80端口 就会转发到KUBE-SVC-W7NV5DSNKK4ZSGFV这个链中(-j 为重定向的意思)
-A KUBE-SERVICES -d 10.105.175.220/32 -p tcp -m comment --comment "default/web3:http cluster IP" -m tcp --dport 80 -j KUBE-SVC-W7NV5DSNKK4ZSGFV


第二步:负载均衡
#iptables是逐行进行匹配的,只要匹配到就会有返回,但是iptables是实现不了负载均衡的,所以加入 "random"随机 和 "--probability"权重值 使用概率来实现负载均衡;
[root@k8s-master goodgood_study]# iptables-save  | grep KUBE-SVC-W7NV5DSNKK4ZSGFV
#匹配到第一条链 "KUBE-SEP-R4KKLS6KRNSZRJ5M" 的概率为33%,如果匹配不到将匹配后两条
-A KUBE-SVC-W7NV5DSNKK4ZSGFV -m comment --comment "default/web3:http" -m statistic --mode random --probability 0.33333333349 -j KUBE-SEP-R4KKLS6KRNSZRJ5M
#匹配到第二条链 "KUBE-SEP-TTYM75VNZX3XZFKR" 的概率为50%,如果匹配不到那必定匹配最后一条
-A KUBE-SVC-W7NV5DSNKK4ZSGFV -m comment --comment "default/web3:http" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-TTYM75VNZX3XZFKR
#匹配到第三条链 "KUBE-SEP-OXDS5ER2YQUV2LOU" 的概率为100%
-A KUBE-SVC-W7NV5DSNKK4ZSGFV -m comment --comment "default/web3:http" -j KUBE-SEP-OXDS5ER2YQUV2LOU

第三步:NAT目标地址转换
#对匹配到的链进行nat地址转换为实际Pod地址
[root@k8s-master goodgood_study]# iptables-save  | grep KUBE-SEP-R4KKLS6KRNSZRJ5M
-A KUBE-SEP-R4KKLS6KRNSZRJ5M -p tcp -m comment --comment "default/web3:http" -m tcp -j DNAT --to-destination 10.244.36.67:80
[root@k8s-master goodgood_study]# iptables-save  | grep KUBE-SEP-TTYM75VNZX3XZFKR
-A KUBE-SEP-TTYM75VNZX3XZFKR -p tcp -m comment --comment "default/web3:http" -m tcp -j DNAT --to-destination 10.244.36.74:80
[root@k8s-master goodgood_study]# iptables-save  | grep KUBE-SEP-OXDS5ER2YQUV2LOU
-A KUBE-SEP-OXDS5ER2YQUV2LOU -p tcp -m comment --comment "default/web3:http" -m tcp -j DNAT --to-destination 10.244.36.92:80

六、切换Service代理模式

service 默认使用iptables 代理模式

查看当前service使用的代理模式

上面知道了service的转发规则是由kube-proxy维护的 所以可以直接查看kube-proxy的日志即可

kubeadm方式:

bash 复制代码
[root@k8s-master ~]# kubectl get pod -n kube-system
NAME                                       READY   STATUS    RESTARTS   AGE
...
kube-proxy-5nthr                           1/1     Running   0          159d
kube-proxy-77bv7                           1/1     Running   0          158d
kube-proxy-q4tjh                           1/1     Running   0          158d
kube-proxy-v7s6z                           1/1     Running   0          158d

1.查看任意一个kube-porxy就可以发现使用的是iptables代理模式

2.切换代理模式就需要修改kube-proxy的configmap

bash 复制代码
[root@k8s-master ~]# kubectl get configmaps -n kube-system 
NAME                                 DATA   AGE
calico-config                        4      158d
coredns                              1      159d
extension-apiserver-authentication   6      159d
kube-proxy                           2      159d
kube-root-ca.crt                     1      159d
kubeadm-config                       2      159d
kubelet-config-1.20                  1      159d
[root@k8s-master ~]# kubectl edit configmaps/kube-proxy -n kube-system 
...
apiVersion: v1
data:
  config.conf: |-
    apiVersion: kubeproxy.config.k8s.io/v1alpha1
    bindAddress: 0.0.0.0
#找到mode字段,为空的话代表使用的是默认的代理模式(iptables),若想使用ipvs的话 直接将mode的字段值改为 "ipvs"
#mode: ""
mode: "ipvs"

3.重启要修改代理模式的kube-proxy pod

bash 复制代码
[root@k8s-master ~]# kubectl delete pod/kube-proxy-77bv7 -n kube-system 
[root@k8s-master ~]# kubectl get pod -n kube-system -o wide 
NAME                                       READY   STATUS    RESTARTS   AGE    IP               NODE         NOMINATED NODE   READINESS GATES
kube-proxy-5nthr                           1/1     Running   0          159d   192.168.77.11    k8s-master   <none>           <none>
kube-proxy-hzh9m                           1/1     Running   0          7m2s   192.168.77.14    k8s-node3    <none>           <none>
kube-proxy-q4tjh                           1/1     Running   0          159d   192.168.77.13    k8s-node2    <none>           <none>
kube-proxy-v7s6z                           1/1     Running   0          159d   192.168.77.12    k8s-node1    <none>           <none>

4.再次查看重启过的kube-proxy是否已经切换成了ipvs代理模式

如果想让所有的节点都生效的话,需要重建所有节点的kube-proxy pod

二进制方式:

通过kube-proxy的日志来查看当前使用的代理模式

1.修改kube-proxy配置文件并重启kubelet

bash 复制代码
[root@k8s-node3 cfg]# vim kube-proxy-config.yml
...
#添加/修改
mode: ipvs
ipvs:
  scheduler: "rr"
 #注:配置文件路径根据实际安装目录为准
 
[root@k8s-node3 cfg]# systemctl restart kube-proxy

2.验证ipvs代理模式的规则

上面我们也知道了验证ipvs规则需要使用 "ipvsadm -L -n" 命令

所以需要在kube-proxy pod所在的相应节点上安装ipvsadm来进行验证

bash 复制代码
[root@k8s-node3 ~]# yum -y install ipvsadm

[root@k8s-master ~]# kubectl get svc 
NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
web3                    NodePort    10.105.175.220   <none>        80:32306/TCP     25h
[root@k8s-master ~]# kubectl get pod -o wide 
NAME                                     READY   STATUS    RESTARTS   AGE    IP               NODE        NOMINATED NODE   READINESS GATES
web-7fbc4b76bd-2z8zn                     1/1     Running   0          29h    10.244.36.74     k8s-node1   <none>           <none>
web-7fbc4b76bd-8qfn8                     1/1     Running   0          29h    10.244.36.67     k8s-node1   <none>           <none>
web-7fbc4b76bd-xzxrf                     1/1     Running   0          29h    10.244.36.92     k8s-node1   <none>           <none>

[root@k8s-node3 ~]# ipvsadm -L -n
#找到service对应的cluster ip 即可看到现在所使用的规则(非常清晰)
#NodePort流量入口
TCP  192.168.77.14:32306 rr
  -> 10.244.36.67:80              Masq    1      0          0         
  -> 10.244.36.74:80              Masq    1      0          0         
  -> 10.244.36.92:80              Masq    1      0          0  
  
[root@k8s-node3 ~]# ipvsadm -L -n
#找到service对应的cluster ip 即可看到现在所使用的规则(非常清晰)
#Cluster IP流量入口
TCP  10.105.175.220:80 rr
  -> 10.244.36.67:80              Masq    1      0          0         
  -> 10.244.36.74:80              Masq    1      0          0         
  -> 10.244.36.92:80              Masq    1      0          0    

七、service总体工作流程

当客户端访问service时 实际是由iptables/ipvs来转发到后端的一组pod上,这些iptables/ipvs 转发的规则都是由kube-proxy进行管理维护的,它会根据你的工作模式来生成相应的规则;

八、kube-proxy ipvs和iptables的异同

iptables与IPVS都是基于Netfilter实现的,但因为定位不同,二者有着本质的差别:iptables是为防火墙而设计的;IPVS则专门用于高性能负载均衡,并使用更高效的数据结构(Hash表),允许几乎无限的规模扩张。

  • 与iptables相比,IPVS拥有以下明显优势:
  • 为大型集群提供了更好的可扩展性和性能;
  • 支持比iptables更复杂的复制均衡算法(最小负载、最少连接、加权等);
  • 支持服务器健康检查和连接重试等功能;
  • 可以动态修改ipset的集合,即使iptables的规则正在使用这个集合。

九、Service DNS名称

service就类似于一个虚拟负载均衡器一样,而coredns就是为service进行解析的,它是一个DNS服务器,也是k8s默认使用的DNS,以Pod部署在集群中,CoreDNS服务监视Kubernetes API,为每一个Service创建DNS记录用于域名解析 这样我们就能在集群中使用servcie名称来访问service;

工作流程

在pod中解析service名称时,service名称会帮我们转发到coredns上,coredns会解析service名称并返回相对应的cluster ip,如果访问的是外部域名,那么会转到宿主机的dns上去处理,最后coredns是通过k8s api上去获取的service信息来创建的dns记录;

ClusterIP A记录格式:[service-name].[namespace-name].svc.cluster.local

示例:

my-service.my-namespace.svc.cluster.local

1.接下来创建一个pod来使用dns进行测试,看能不能通过名称来获取cluster ip

bash 复制代码
[root@k8s-master ~]# kubectl get svc 
NAME                    TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
kubernetes              ClusterIP   10.96.0.1        <none>        443/TCP          162d
web3                    NodePort    10.105.175.220   <none>        80:32306/TCP     4d


[root@k8s-master ~]# kubectl run bs --image=busybox:1.28.4 -- sleep 24h 
pod/bs created
[root@k8s-master ~]# kubectl get pod 
NAME                                     READY   STATUS              RESTARTS   AGE
bs                                       0/1     Running   0          6s

[root@k8s-master ~]# kubectl exec -it pod/bs /bin/sh
/ # nslookup web3.default.svc.cluster.local
Server:    10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local

Name:      web3.default.svc.cluster.local
Address 1: 10.105.175.220 web3.default.svc.cluster.local
#可以看到这里解析出的IP就是上面web3这个service的cluster ip

/ # ping   web3.default.svc.cluster.local
PING web3.default.svc.cluster.local (10.105.175.220): 56 data bytes
#使用ping命令也是可以解析到web3这个service的cluster ip 的

/ # wget web3.default.svc.cluster.local
Connecting to web3.default.svc.cluster.local (10.105.175.220:80)
index.html           100% |*******************************************************************************************************************************************|   612   0:00:00 ETA
/ # cat index.html 
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
#也可以使用curl命令根据servicename 来访问这个页面 或者使用wget命令根据servicename 来下载这个页面

2.接下来查看内部的dns是如何配置的

bash 复制代码
[root@k8s-master ~]# kubectl get svc -n kube-system 
NAME                      TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)                        AGE                    81d
kube-dns                  ClusterIP   10.96.0.10     <none>        53/UDP,53/TCP,9153/TCP         162d
...

/ # cat /etc/resolv.conf 
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
#可以看出这个IP就是 coredns服务器的IP,所以说集群内部所有的请求都会发送到coredns服务器上,它里面维护了service的dns记录       

/ # ping www.baidu.com
PING www.baidu.com (180.101.50.242): 56 data bytes
64 bytes from 180.101.50.242: seq=0 ttl=49 time=14.356 ms
64 bytes from 180.101.50.242: seq=1 ttl=49 time=14.250 ms
#coredns是不维护百度的域名记录的,它是有专门的dns服务器来维护的,所以如果访问的域名不在 "search" 范围之内,就会交给宿主机的dns进行处理,相当于coredns 代替了 宿主机的dns解析的外部域名;                                                                            

相关推荐
全能全知者1 小时前
docker快速安装与配置mongoDB
mongodb·docker·容器
景天科技苑7 小时前
【云原生开发】K8S多集群资源管理平台架构设计
云原生·容器·kubernetes·k8s·云原生开发·k8s管理系统
wclass-zhengge8 小时前
K8S篇(基本介绍)
云原生·容器·kubernetes
颜淡慕潇8 小时前
【K8S问题系列 |1 】Kubernetes 中 NodePort 类型的 Service 无法访问【已解决】
后端·云原生·容器·kubernetes·问题解决
川石课堂软件测试10 小时前
性能测试|docker容器下搭建JMeter+Grafana+Influxdb监控可视化平台
运维·javascript·深度学习·jmeter·docker·容器·grafana
昌sit!16 小时前
K8S node节点没有相应的pod镜像运行故障处理办法
云原生·容器·kubernetes
A ?Charis19 小时前
Gitlab-runner running on Kubernetes - hostAliases
容器·kubernetes·gitlab
肘击鸣的百k路19 小时前
Java 代理模式详解
java·开发语言·代理模式
wclass-zhengge19 小时前
Docker篇(Docker Compose)
运维·docker·容器
北漂IT民工_程序员_ZG20 小时前
k8s集群安装(minikube)
云原生·容器·kubernetes