K8S部署ECK采集日志

broadviews2024-06-10 20:46

1. 部署nfs

1. 安装nfs

#所有节点安装
yum install -y nfs-utils

## 在master节点创建nfs共享目录



mkdir -pv /data/kubernetes


## 编写配置文件



cat > /etc/exports <<'EOF'

/data/kubernetes *(rw,no_root_squash)

EOF


## master节点启动nfs


`systemctl enable --now rpcbind nfs`

2. 使用helm部署nfs动态存储

a. 创建名称空间

[root@master100 ~]# kubectl create ns nfs-sc-default

b. 下载chart

[root@master100 ~]# helm pull nfs-subdir-external-provisioner/nfs-subdir-external-provisioner

#解压后可以看到values.yaml
cat values.yaml | egrep -v '#|^$'

###########
replicaCount: 1
strategyType: Recreate
image:
  repository: registry.cn-hangzhou.aliyuncs.com/haiweigit/nfs-subdir-external-provisioner
  tag: v4.0.2
  pullPolicy: IfNotPresent
imagePullSecrets: []
nfs:
  server: 10.1.129.86		#指定nfs地址
  path: /data/nfs-data		#指定nfs的共享目录
  mountOptions:
  volumeName: nfs-subdir-external-provisioner-root
  reclaimPolicy: Retain
storageClass:
  create: true
  defaultClass: true		#指定为默认sc
  name: nfs-sc-default		#指定sc的名字
  allowVolumeExpansion: true
  reclaimPolicy: Delete
  archiveOnDelete: true
  onDelete:
  pathPattern:
  accessModes: ReadWriteOnce
  annotations: {}
leaderElection:
  enabled: true
rbac:
  create: true
podSecurityPolicy:
  enabled: false
podAnnotations: {}
podSecurityContext: {}
securityContext: {}
serviceAccount:
  create: true
  annotations: {}
  name:
resources: {}
nodeSelector: {}
tolerations: []
affinity: {}
labels: {}
###########

#就修改了上面4处参数后使用values.yaml文件进行安装

helm install nfs-subdir-external-provisioner \
    /root/nfs/nfs-subdir-external-provisioner \
    -f values.yaml \
    -n nfs-sc-default

#nfs-subdir-external-provisioner #是名称
#/root/nfs/nfs-subdir-external-provisioner #目录所在的路径
#-f values.yaml #指定values.yaml，这里是在当前路径
#-n nfs-sc-default #指定名称空间

#查看创建的sc

[root@master100 ~]# kubectl get sc
NAME                       PROVISIONER                                     RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-sc-default (default)   cluster.local/nfs-subdir-external-provisioner   Delete          Immediate           true                   38m

2. ECK简介

2.1. ECK是什么

要理解ECK，首先需要了解CRD、Controller、Operator这三个基础概念。
什么是CRD
CRD(Custom Resource Definitions)也就是自定义K8S资源类型。当内置的POD、Deployment、Configmap等资源类型不满足需求时，我们就需要扩展k8s，常用方式有三种：

  • 使用CRD自定义资源类型
  • 开发自定义的APIServer（例如HPA）
  • 定制扩展二次开发Kubernetes源码（例如阿里云ACK、腾讯云TKE）

在 Kubernetes中，资源是 Kubernetes API中的一个端点，用于存储一堆特定类型的API对象。它允许我们通过向集群添加更多种类的对象来扩展Kubernetes。添加新种类的对象之后，我们可以像其他任何内置对象一样，使用 kubectl 来访问我们自定义的 API 对象，CRD无须修改Kubernetes源代码就能扩展它支持使用API资源类型。
什么是Controller
Kubernetes 的所有控制器，都有一个控制循环，负责监控集群中特定资源的更改，并确保特定资源在集群里的当前状态与控制器自身定义的期望状态保持一致。
Controller是需要CRD配套开发的程序，它通过Apiserver监听相应类型的资源对象事件，例如：创建、删除、更新等等，然后做出相应的动作，例如一个 Deployment 控制器管控着集群里的一组 Pod ，当你 Kill 掉一个 Pod 。控制器发现定义中期望的Pod数量与当前的数量不匹配，它就会马上创建一个 Pod 让当前状态与期望状态匹配。
什么是Operator
operator 是一种 kubernetes的扩展形式，利用自定义资源对象CRD来管理应用和组件，允许用户以 Kubernetes 的声明式 API 风格来管理应用及服务。operator 定义了一组在 Kubernetes 集群中打包和部署复杂业务应用的方法，operator主要是为解决特定应用或服务关于如何运行、部署及出现问题时如何处理提供的一种特定的自定义方式。
什么是eck
Elastic Cloud on Kubernetes（ECK） 是一种 Kubernetes Operator，为了方便我们管理Elastic Stack全家桶中的各种组件，例如 Elasticsearch，Kibana，APM，Beats 等。通过Operator我们可以快速部署一套Elasticsearch集群，并大大简化日常运维工作。

2.2. ECK功能

  1. 快速部署、管理和监控多个集群
  1. 快速扩展集群规模和存储空间
  1. 通过滚动升级完成配置更改
  1. 使用 TLS 证书保护集群安全
  1. 设置具有可用性区域感知功能的热-温-冷体系结构

2.3. 版本支持

以eck2.7为例，支持的组件版本如下：

  • Kubernetes 1.22-1.26
  • OpenShift 4.8-4.12
  • Google Kubernetes Engine (GKE), Azure Kubernetes Service (AKS), and Amazon Elastic Kubernetes Service (EKS)
  • Helm: 3.2.0+
  • Elasticsearch, Kibana, APM Server: 6.8+, 7.1+, 8+
  • Enterprise Search: 7.7+, 8+
  • Beats: 7.0+, 8+
  • Elastic Agent: 7.10+ (standalone), 7.14+ (Fleet), 8+
  • Elastic Maps Server: 7.11+, 8+

每个eck版本都有对应支持的kubernetes版本范围，需要根据当前kubernetes版本选择尽可能新的eck版本，版本对应关系参考文档

3. 集群部署与规划

3.1. 组件版本

操作系统版本：CentOS Linux release 7.9.2009 (Core)
内核版本：5.4.260-1.el7.elrepo.x86_64
kubernetes版本：v1.23.17
Docker版本：20.10.9
kube-vip版本：0.6.0
ECK版本：2.7.0
ELK版本：8.9.1

3.2. 环境准备

3.2.1. 系统参数调整

修改文件描述符数目

  • 设置环境变量

    修改环境变量文件

    vim /etc/profile
    ulimit -n 65535

    使配置生效

    source /etc/profile

  • 修改limits.conf配置文件

    修改limits.conf配置

    vim /etc/security/limits.conf

    • soft nofile 65535
    • hard nofile 65535

  • 验证

    ulimit -n

    65535

修改虚拟内存数大小

  • 内核设置可以直接在主机上设置，也可以通过具有特权的初始化容器中设置，通常情况下直接在主机上设置。
    临时设置

    sysctl -w vm.max_map_count=262144

    vm.max_map_count = 262144

  • 永久设置

    cat >> /etc/sysctl.conf << EOF
    vm.max_map_count=262144
    EOF
    sysctl -p

在Kubernetes集群中部署ECK

快速入门手册：https://www.elastic.co/guide/en/cloud-on-k8s/2.7/k8s-quickstart.html

在开始之前要考虑的事情：

  1. 安装自定义资源定义

    [root@master100 ~]# wget https://download.elastic.co/downloads/eck/2.7.0/crds.yaml
    [root@master100 ~]# kubectl create -f crds.yaml

    #输出如下
    customresourcedefinition.apiextensions.k8s.io/agents.agent.k8s.elastic.co created
    customresourcedefinition.apiextensions.k8s.io/apmservers.apm.k8s.elastic.co created
    customresourcedefinition.apiextensions.k8s.io/beats.beat.k8s.elastic.co created
    customresourcedefinition.apiextensions.k8s.io/elasticmapsservers.maps.k8s.elastic.co created
    customresourcedefinition.apiextensions.k8s.io/elasticsearches.elasticsearch.k8s.elastic.co created
    customresourcedefinition.apiextensions.k8s.io/enterprisesearches.enterprisesearch.k8s.elastic.co created
    customresourcedefinition.apiextensions.k8s.io/kibanas.kibana.k8s.elastic.co created

2.安装operator及其RBAC规则

[root@master100 ~]# wget https://download.elastic.co/downloads/eck/2.7.0/operator.yaml
[root@master100 ~]# kubectl apply -f operator.yaml

ECK操作符默认在elastic-system命名空间中运行。建议您为工作负载选择专用的命名空间，而不是使用elastic-system或默认命名空间。

3.1. 部署Elasticsearch集群

  • 编写资源清单

    cat <<EOF> elasticsearch.yaml
    apiVersion: elasticsearch.k8s.elastic.co/v1
    kind: Elasticsearch
    metadata:
    name: elasticsearch
    spec:
    version: 8.9.1
    # Elasticsearch 不会使用 HTTPS，而是使用 HTTP
    http:
    tls:
    selfSignedCertificate:
    disabled: true
    nodeSets:
    - name: master
    count: 3
    config:
    node.store.allow_mmap: false
    podTemplate:
    spec:
    initContainers:
    - name: sysctl
    securityContext:
    privileged: true
    command: ['sh', '-c', 'sysctl -w vm.max_map_count=262144']
    EOF

node.store.allow_mmap

  • 创建

    [root@master100 ~]# kubectl apply -f elasticsearch.yaml

Operator自动创建和管理Kubernetes资源，以实现Elasticsearch集群的期望状态。可能需要几分钟的时间才能创建所有资源并准备好使用群集。

  • 监视群集运行状况和创建进度

    [root@master100 ~]# kubectl get elasticsearch
    NAME HEALTH NODES VERSION PHASE AGE
    elasticsearch green 3 8.9.1 Ready 79s

  • 访问该Pod的日志

    [root@master100 ~]# kubectl logs -f elasticsearch-es-master-0

  • 请求Elasticsearch访问权限

    [root@master100 ~]# kubectl get service elasticsearch-es-http
    NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
    elasticsearch-es-http ClusterIP 10.96.35.63 <none> 9200/TCP 3m25s

  • 获取es集群的账号密码

一个名为elastic的默认用户会自动创建，密码存储在Kubernetes secret中：

[root@master100 ~/01-ECK]# PASSWORD=$(kubectl get secret elasticsearch-es-elastic-user -o go-template='{{.data.elastic | base64decode}}')

  • 请求Elasticsearch集群。

    #从本地工作站，在单独的终端中使用以下命令：
    [root@master100 ~/01-ECK]# kubectl port-forward --address 0.0.0.0 service/elasticsearch-es-http 9200
    Forwarding from 0.0.0.0:9200 -> 9200

    从Kubernetes集群内部：

    curl -u "elastic:PASSWORD" -k "https://(kubectl get svc elasticsearch-es-http -o jsonpath='{.spec.clusterIP}'):9200"

    然后请求localhost：

    [root@master100 ~]# curl -u "elastic:$PASSWORD" -k "https://localhost:9200"

    {

    "name" : "elasticsearch-es-master-1",

    "cluster_name" : "elasticsearch",

    "cluster_uuid" : "08sMKAPrTB64kS8xewGfQQ",

    "version" : {

    "number" : "8.9.1",

    "build_flavor" : "default",

    "build_type" : "docker",

    "build_hash" : "a813d015ef1826148d9d389bd1c0d781c6e349f0",

    "build_date" : "2023-08-10T05:02:32.517455352Z",

    "build_snapshot" : false,

    "lucene_version" : "9.7.0",

    "minimum_wire_compatibility_version" : "7.17.0",

    "minimum_index_compatibility_version" : "7.0.0"

    },

    "tagline" : "You Know, for Search"

    }

    [root@master100 ~]#

    检查 Elasticsearch 健康

    [root@master100 ~/01-ECK]# curl -u "elastic:$PASSWORD" -k "https://localhost:9200/_cluster/health?pretty`"
    {
    "cluster_name" : "elasticsearch",
    "status" : "yellow",
    "timed_out" : false,
    "number_of_nodes" : 3,
    "number_of_data_nodes" : 3,
    "active_primary_shards" : 17,
    "active_shards" : 32,
    "relocating_shards" : 0,
    "initializing_shards" : 3,
    "unassigned_shards" : 0,
    "delayed_unassigned_shards" : 0,
    "number_of_pending_tasks" : 12,
    "number_of_in_flight_fetch" : 0,
    "task_max_waiting_in_queue_millis" : 33955,
    "active_shards_percent_as_number" : 91.42857142857143
    }
    [root@master100 ~/01-ECK]#
    `

检查 Elasticsearch 健康

3.2. 部署Kibana实例

要部署Kibana 实例，请参考以下步骤

  1. 指定一个Kibana实例并将其与Elasticsearch集群关联：

    cat <<EOF>> kibana.yaml
    apiVersion: kibana.k8s.elastic.co/v1
    kind: Kibana
    metadata:
    name: kibana
    spec:
    version: 8.9.1
    count: 1
    elasticsearchRef:
    #替换为你实际的 Elasticsearch 集群名称
    name: elasticsearch
    podTemplate:
    spec:
    containers:
    - name: kibana
    env:
    - name: I18N_LOCALE # 中文配置
    value: "zh-CN"
    EOF

    创建

    [root@master100 ~]# kubectl apply -f kibana.yaml
    kibana.kibana.k8s.elastic.co/kibana created
    [root@master100 ~]#

  2. 监控Kibana的健康和创建进度。

    kubectl get kibana

以及相关的Pod：

[root@master100 ~/01-ECK]# kubectl get pod --selector='kibana.k8s.elastic.co/name=kibana'

  1. 访问Kibana。
    系统会自动为Kibana创建一个ClusterIP服务：

    kubectl get service kibana-kb-http

    [root@master100 ~/01-ECK]# kubectl port-forward --address 0.0.0.0 service/kibana-kb-http 5601
    Forwarding from 0.0.0.0:5601 -> 5601

修改为NodePort类型

kubectl edit service kibana-kb-http

在这些信息中，找到 type 字段并将其修改为 NodePort，然后保存并退出即可。

3.2.1. 浏览器访问

以elastic用户身份登录。可以使用以下命令获取密码：

kubectl get secret elasticsearch-es-elastic-user -o=jsonpath='{.data.elastic}' | base64 --decode; echo

3.3. 部署 filebeat

3.3.1. 参考链接：

使用filebeat收集k8s集群pod日志

---
apiVersion: v1
kind: ConfigMap
metadata:
  name: filebeat-config
  namespace: default
  labels:
    k8s-app: filebeat
data:
  filebeat.yml: |-
    filebeat.inputs:
    - type: container
      paths:
        - /var/log/containers/*.log
      processors:
        - add_kubernetes_metadata:
            host: ${NODE_NAME}
            matchers:
            - logs_path:
                logs_path: "/var/log/containers/"

    # To enable hints based autodiscover, remove `filebeat.inputs` configuration and uncomment this:
    #filebeat.autodiscover:
    #  providers:
    #    - type: kubernetes
    #      node: ${NODE_NAME}
    #      hints.enabled: true
    #      hints.default_config:
    #        type: container
    #        paths:
    #          - /var/log/containers/*${data.kubernetes.container.id}.log

    processors:
      - add_cloud_metadata:
      - add_host_metadata:

    cloud.id: ${ELASTIC_CLOUD_ID}
    cloud.auth: ${ELASTIC_CLOUD_AUTH}

    output.elasticsearch:
      hosts: ['${ELASTICSEARCH_HOST:elasticsearch}:${ELASTICSEARCH_PORT:9200}']
      username: ${ELASTICSEARCH_USERNAME}
      password: ${ELASTICSEARCH_PASSWORD}




   
*** ** * ** ***



## apiVersion: apps/v1  
kind: DaemonSet  
metadata:  
name: filebeat  
namespace: default  
labels:  
k8s-app: filebeat  
spec:  
selector:  
matchLabels:  
k8s-app: filebeat  
template:  
metadata:  
labels:  
k8s-app: filebeat  
spec:  
serviceAccountName: filebeat  
terminationGracePeriodSeconds: 30  
hostNetwork: true  
dnsPolicy: ClusterFirstWithHostNet  
containers:  
- name: filebeat  
image: docker.elastic.co/beats/filebeat:7.15.2  
args: [  
"-c", "/etc/filebeat.yml",  
"-e",  
]  
env:  
- name: ELASTICSEARCH_HOST  
value: elasticsearch-es-http  
- name: ELASTICSEARCH_PORT  
value: "9200"  
- name: ELASTICSEARCH_USERNAME  
value: elastic  
- name: ELASTICSEARCH_PASSWORD  
value: 0hha56I2uWDtu28Q4l4j4eW9  
- name: ELASTIC_CLOUD_ID  
value:  
- name: ELASTIC_CLOUD_AUTH  
value:  
- name: NODE_NAME  
valueFrom:  
fieldRef:  
fieldPath: spec.nodeName  
securityContext:  
runAsUser: 0  
# If using Red Hat OpenShift uncomment this:  
#privileged: true  
resources:  
limits:  
memory: 200Mi  
requests:  
cpu: 100m  
memory: 100Mi  
volumeMounts:  
- name: config  
mountPath: /etc/filebeat.yml  
readOnly: true  
subPath: filebeat.yml  
- name: data  
mountPath: /usr/share/filebeat/data  
- name: varlibdockercontainers  
mountPath: /var/lib/docker/containers  
readOnly: true  
- name: varlog  
mountPath: /var/log  
readOnly: true  
volumes:  
- name: config  
configMap:  
defaultMode: 0640  
name: filebeat-config  
- name: varlibdockercontainers  
hostPath:  
path: /var/lib/docker/containers  
- name: varlog  
hostPath:  
path: /var/log  
# data folder stores a registry of read status for all files, so we don't send everything again on a Filebeat pod restart  
- name: data  
hostPath:  
# When filebeat runs as non-root user, this directory needs to be writable by group (g+w).  
path: /var/lib/filebeat-data  
type: DirectoryOrCreate



apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRoleBinding

metadata:

name: filebeat

subjects:


   


    
* kind: ServiceAccount

  name: filebeat

  namespace: default

  roleRef:

  kind: ClusterRole

  name: filebeat

  apiGroup: rbac.authorization.k8s.io


   


   
*** ** * ** ***



apiVersion: rbac.authorization.k8s.io/v1

kind: RoleBinding

metadata:

name: filebeat

namespace: default

subjects:


   


    
* kind: ServiceAccount

  name: filebeat

  namespace: default

  roleRef:

  kind: Role

  name: filebeat

  apiGroup: rbac.authorization.k8s.io


   


   
*** ** * ** ***



apiVersion: rbac.authorization.k8s.io/v1

kind: RoleBinding

metadata:

name: filebeat-kubeadm-config

namespace: default

subjects:


   


    
* kind: ServiceAccount

  name: filebeat

  namespace: default

  roleRef:

  kind: Role

  name: filebeat-kubeadm-config

  apiGroup: rbac.authorization.k8s.io


   


   
*** ** * ** ***



apiVersion: rbac.authorization.k8s.io/v1

kind: ClusterRole

metadata:

name: filebeat

labels:

k8s-app: filebeat

rules:


   


    
* apiGroups: [""] # "" indicates the core API group

  resources:

       

        
  * namespaces


        
  * pods


        
  * nodes

    verbs:


        
  * get


        
  * watch


        
  * list


       



    
* apiGroups: ["apps"]

  resources:

       

        
  * replicasets

    verbs: ["get", "list", "watch"]


       



   


   
*** ** * ** ***



apiVersion: rbac.authorization.k8s.io/v1

kind: Role

metadata:

name: filebeat


# should be the namespace where filebeat is running



namespace: default

labels:

k8s-app: filebeat

rules:


   


    
* apiGroups:

       

        
  * coordination.k8s.io

    resources:


        
  * leases

    verbs: ["get", "create", "update"]


       



   


   
*** ** * ** ***



apiVersion: rbac.authorization.k8s.io/v1

kind: Role

metadata:

name: filebeat-kubeadm-config

namespace: default

labels:

k8s-app: filebeat

rules:


   


    
* apiGroups: [""]

  resources:

       

        
  * configmaps

    resourceNames:


        
  * kubeadm-config

    verbs: ["get"]


       



   


   
*** ** * ** ***


`apiVersion: v1`
`
kind: ServiceAccount`
`
metadata:`
`
name: filebeat`
`
namespace: default`
`
labels:`
`
k8s-app: filebeat`
`
---`

3.3.2. 创建

[root@master100 ~/01-ECK]#  kubectl apply -f filebeat-kubernetes.yaml
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10红米手机使用google play