使用 AWS EKS 部署 Easysearch

罗技1232024-08-16 14:05

随着企业对数据搜索和分析需求的增加，高效的搜索引擎解决方案变得越来越重要。Easysearch 作为一款强大的企业级搜索引擎，可以帮助企业快速构建高性能、可扩展的数据检索系统。在云计算的背景下，使用容器化技术来部署和管理这些解决方案已经成为主流选择，而 Amazon Elastic Kubernetes Service (EKS) 则提供了一个强大且易于使用的平台来运行容器化的应用程序。

本文旨在探索如何在 AWS EKS 上部署 Easysearch，并通过实践操作展示从集群配置到服务部署的完整过程。通过本文，读者可以了解如何在云环境中快速搭建高效的搜索服务，最大化利用云资源的弹性和可扩展性。

准备工作

  1. 准备一个 AWS Global 账户，本文选择东京区域（ap-northeast-1）进行部署。
  2. 部署 EKS 集群版本为 1.30，同时需要在 Linux 环境中安装 AWS CLI、Helm、eksctl 和 kubectl 等命令行工具。本文使用 eksctl 管理 EKS 集群，eksctl 是 AWS 官方推出的高效管理 EKS 集群的命令行工具。
  3. 本文将使用 EBS-CSI-Driver 作为存储驱动来部署 Easysearch 服务，并通过 AWS LoadBalancer Controller 将 Easysearch Console 服务以 AWS 负载均衡器的方式对外提供服务，连接集群内部的 Easysearch。

命令行工具的安装

安装 AWS CLI：

shell 复制代码 
curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
./aws/install -i /usr/local/aws-cli -b /usr/local/bin
aws --version

安装 Helm：

shell 复制代码 
curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 > get_helm.sh
chmod 700 get_helm.sh
./get_helm.sh

安装 eksctl：

shell 复制代码 
# 对于 ARM 系统，设置 ARCH 为：`arm64`、`armv6` 或 `armv7`
ARCH=amd64
PLATFORM=$(uname -s)_$ARCH

curl -sLO "https://github.com/eksctl-io/eksctl/releases/latest/download/eksctl_$PLATFORM.tar.gz"

# （可选）验证校验和
curl -sL "https://github.com/eksctl-io/eksctl/releases/latest/download/eksctl_checksums.txt" | grep $PLATFORM | sha256sum --check

tar -xzf eksctl_$PLATFORM.tar.gz -C /tmp && rm eksctl_$PLATFORM.tar.gz

sudo mv /tmp/eksctl /usr/local/bin

安装 kubectl：

shell 复制代码 
curl -O https://s3.us-west-2.amazonaws.com/amazon-eks/1.30.2/2024-07-12/bin/linux/amd64/kubectl
chmod +x ./kubectl
mkdir -p $HOME/bin && cp ./kubectl $HOME/bin/kubectl && export PATH=$HOME/bin:$PATH

配置 EKS 集群环境

我们使用 eksctl 创建一个 1.30 版本的集群，这里通过 YAML 模板定义 EKS 集群的 VPC 网络配置，并根据 eksctl 官方文档调整相关字段。将以下模板保存为 my-cluster.yaml 文件：

yaml 复制代码 
# 创建一个包含 2 个 m5.2xlarge 实例的节点组
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig

metadata:
  name: LAB-1-30
  region: ap-northeast-1

vpc:
  subnets:
    private:
      ap-northeast-1a: { id: subnet-11223344 }
      ap-northeast-1c: { id: subnet-55667788 }
      ap-northeast-1d: { id: subnet-99001122 }

nodeGroups:
  - name: managed-workers-01
    labels: { role: workers }
    instanceType: m5.2xlarge
    minSize: 2
    maxSize: 4
    desiredCapacity: 3
    privateNetworking: true
    volumeSize: 30

通过以下命令创建集群：

shell 复制代码 
eksctl create cluster -f my-cluster.yaml

集群创建完成后，使用以下命令检查集群是否就绪：

shell 复制代码 
# 更新 kubeconfig 的凭证文件
aws eks update-kubeconfig --name LAB-1-30 --region ap-northeast-1
kubectl get node
[ec2-user@ip-10-0-0-84 ~]$ kubectl get node 
NAME                                              STATUS   ROLES    AGE   VERSION
ip-10-0-100-132.ap-northeast-1.compute.internal   Ready    <none>   16m   v1.30.2-eks-1552ad0
ip-10-0-101-148.ap-northeast-1.compute.internal   Ready    <none>   16m   v1.30.2-eks-1552ad0

安装 EBS-CSI-Driver 插件，后续部署时可以指定 StorageClass 来使用亚马逊云的 EBS 块存储服务：

shell 复制代码 
eksctl utils associate-iam-oidc-provider --region=ap-northeast-1 --cluster=LAB-1-30 --approve
eksctl create iamserviceaccount \
        --name ebs-csi-controller-sa \
        --namespace kube-system \
        --cluster LAB-1-30 \
        --region ap-northeast-1 \
        --role-name AmazonEKS_EBS_CSI_DriverRole \
        --role-only \
        --attach-policy-arn arn:aws:iam::aws:policy/service-role/AmazonEBSCSIDriverPolicy \
        --approve

eksctl create addon --cluster LAB-1-30 --name aws-ebs-csi-driver --version latest --region ap-northeast-1 \
  --service-account-role-arn arn:aws:iam::112233445566:role/AmazonEKS_EBS_CSI_DriverRole --force

[ec2-user@ip-10-0-0-84 ~]$ kubectl get pod -n kube-system | grep -i ebs
ebs-csi-controller-868598b64f-pwmxq   6/6     Running   0          11m
ebs-csi-controller-868598b64f-qn2lz   6/6     Running   0          11m
ebs-csi-node-fplxg                    3/3     Running   0          11m
ebs-csi-node-v6qwj                    3/3     Running   0          11m

安装 AWS LoadBalancer Controller 组件：

shell 复制代码 
eksctl create iamserviceaccount \
  --cluster=LAB-1-30 \
  --region ap-northeast-1 \
  --namespace=kube-system \
  --name=aws-load-balancer-controller \
  --role-name AmazonEKSLoadBalancerControllerRole_130 \
  --attach-policy-arn=arn:aws:iam::112233445566:policy/AWSLoadBalancerControllerIAMPolicy \
  --approve

helm repo add eks https://aws.github.io/eks-charts
helm repo update eks
wget https://raw.githubusercontent.com/aws/eks-charts/master/stable/aws-load-balancer-controller/crds/crds.yaml 
kubectl apply -f crds.yaml

helm install aws-load-balancer-controller eks/aws-load-balancer-controller \
  -n kube-system \
  --set clusterName=LAB-1-30 \
  --set serviceAccount.create=false \
  --set serviceAccount.name=aws-load-balancer-controller  \
  --set region=ap-northeast-1

# 验证安装
kubectl get deployment -n kube-system aws-load-balancer-controller
NAME                           READY   UP-TO-DATE   AVAILABLE   AGE
aws-load-balancer-controller   2/2     2            2           39s

至此，我们已经完成了 EKS 集群的配置。

安装 Easysearch 服务

本文中，将通过 AWS LoadBalancer 部署 Console 服务。首先，通过 Helm 将 Console 相关的模板文件拉取到本地，执行以下命令：

shell 复制代码 
helm pull infinilabs/console
tar -zxvf console-0.2.0.tgz 
cd console

目录结构如下：

shell 复制代码 
[ec2-user@ip-10-0-0-84 console]$ tree
.
├── Chart.yaml
├── templates
│   ├── NOTES.txt
│   ├── _helpers.tpl
│   ├── hpa.yaml
│   ├── ingress.yaml
│   ├── service.yaml
│   ├── serviceaccount.yaml
│   └── statefulset.yaml
└── values.yaml

我们需要修改 service.yaml 和 values.yaml 中的部分配置：

yaml 复制代码 
# serivce.yaml
# 参考 AWS Load Balancer Controller 的文档，配置负载均衡器面向公网
metadata:
  annotations:
    service.beta.kubernetes.io/aws-load-balancer-scheme: internet-facing
    service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: instance
    service.beta.kubernetes.io/aws-load-balancer-subnets: subnet-11223344, subnet-55667788, subnet-9911223344

# values.yaml
# 使用 GP2 StorageClass，并指定 Service Type 为 LoadBalancer
service:
  type: LoadBalancer
storageClassName: gp2

使用 Helm 部署 console 服务：

shell 复制代码 
kubectl create ns Easysearch
helm upgrade --install console . -f values.yaml -n Easysearch

# 检查是否创建了 Service 并获取负载均衡器的 DNS 地址
kubectl get svc -n Easysearch
NAME         TYPE           CL

USTER-IP       EXTERNAL-IP                                               PORT(S)             AGE
console      LoadBalancer   172.20.237.237   k8s-xxxx.elb.ap-northeast-1.amazonaws.com                 9000:32190/TCP      6h49m

接下来是创建 Easysearch 单节点集群服务。创建一个新的 values.yaml 文件并定义使用 GP2 类型的 StorageClass，如下：

shell 复制代码 
cd ~
echo 'storageClassName: gp2' > values.yaml
cat << EOF | kubectl apply -n Easysearch -f -
apiVersion: cert-manager.io/v1
kind: Issuer
metadata:
  name: Easysearch-ca-issuer
spec:
  selfSigned: {}
---
apiVersion: cert-manager.io/v1
kind: Certificate
metadata:
  name: Easysearch-ca-certificate
spec:
  commonName: Easysearch-ca-certificate
  duration: 87600h0m0s
  isCA: true
  issuerRef:
    kind: Issuer
    name: Easysearch-ca-issuer
  privateKey:
    algorithm: ECDSA
    size: 256
  renewBefore: 2160h0m0s
  secretName: Easysearch-ca-secret
EOF
helm install Easysearch infinilabs/Easysearch -n Easysearch -f values.yaml

至此，我们已在 AWS EKS 平台上完成了 Easysearch 的部署。可以通过 Kubernetes 中的 Service DNS 地址在 Console 中验证连接到内部的 Easysearch 服务。本文中使用的地址为：Easysearch.Easysearch.svc.cluster.local:9200。

也可以在 Easysearch 的 Pod 中使用命令进行连接验证：

shell 复制代码 
kubectl exec -n Easysearch Easysearch-0 -it -- curl -ku 'admin:admin' https://Easysearch.Easysearch.svc.cluster.local:9200
{
  "name" : "Easysearch-0",
  "cluster_name" : "infinilabs",
  "cluster_uuid" : "fq3r_ZaHSFuZDjDtKyJY_w",
  "version" : {
    "distribution" : "Easysearch",
    "number" : "1.6.0",
    "distributor" : "INFINI Labs",
    "build_hash" : "e5d1ff9067b3dd696d52c61fbca1f8daed931fb7",
    "build_date" : "2023-09-22T00:55:32.292580Z",
    "build_snapshot" : false,
    "lucene_version" : "8.11.2",
    "minimum_wire_lucene_version" : "7.7.0",
    "minimum_lucene_index_compatibility_version" : "7.7.0"
  },
  "tagline" : "You Know, For Easy Search!"
}

总结

通过本文的实践操作，我们成功地在 AWS EKS 平台上部署了 Easysearch 服务，验证了其在云环境中的高效运行能力。从 EKS 集群的配置、存储和网络资源的准备，到最终的 Easysearch 部署与测试，整个过程展示了如何利用 AWS 提供的工具和服务，快速构建企业级搜索引擎解决方案。

通过这次部署，我们不仅了解了 Easysearch 在 Kubernetes 环境中的部署方法，还深入体验了 AWS EKS 平台的强大功能。未来，随着企业数据量的不断增长，结合云计算的弹性和容器化技术的优势，将会为企业的数据管理和搜索提供更加高效的解决方案。

参考文档

  1. AWS 命令行界面
  2. Helm
  3. eksctl
  4. Helm Chart 部署 Easysearch
相关推荐
AKAMAI2 天前
每百万 Token 成本砍六成，出海 AI 团队开始重算推理这笔账
人工智能·云计算
A小辣椒13 天前
AWS Clould Support Engineer就职面试题
aws
tiancaijiben15 天前
阿里云Kubernetes集群托管完全指南：从创建到生产级运维
云计算
亚林瓜子15 天前
AWS WAF中如何放行某个触发了托管规则的接口
aws·waf
互联网推荐官15 天前
上海软件定制开发公司推荐：从PaaS工程化路径看D-coding的技术取舍
云原生·云计算·paas·软件开发·开发经验·上海
sbjdhjd15 天前
从零搭建企业级 CI/CD（下）：Jenkins+GitLab+Harbor 全链路实战指南
git·servlet·ci/cd·云原生·云计算·gitlab·jenkins
tiancaijiben15 天前
阿里云应用实时监控服务ARMS完全接入指南：从探针部署到全链路可观测
云计算
xingyuzhisuan16 天前
算力租赁平台 GPU 资源隔离方案：显存抢占问题深度排查与解决
大数据·云计算·gpu算力
workbuddy小能手16 天前
腾讯云ADP Agent Portal vs 自建智能体：架构选型对比
架构·云计算·腾讯云
热门推荐
012026 年 AI 编程工具终极横评：Cursor vs Claude Code vs Copilot vs Windsurf022026年6月AI大模型全景报告：GPT-5.6、Claude Opus 4.8、Gemini 3.5，中美AI三足鼎立谁主沉浮？032026年6月AI行业全景：从百模大战到Agent元年，这30天发生了什么？04Trae国际版与国内版深度测评：AI原生IDE的双生花05【AI】2026 年具身智能模型和世界模型总结06GitHub 镜像站点07Claude Code、Codex、Cursor三分天下：2026年AI编程Agent生态全景剖析082026 AI 编程工具终极实战指南：Cursor vs Claude Code vs Copilot，开发者该怎么选？09飞书长连接_事件订阅（接收消息，审批任务状态变更）102026 年 AI 大模型 & AI 编程工具实战全总结