ElasticSearch view

基础知识类

elasticsearch和数据库之间区别?

elasticsearch:面向文档,数据以文档的形式存储,即JSON格式的对象。更强调数据的搜索、索引和分析。

数据库:更侧重于事务处理、数据的严格结构化和完整性,适用于关系复杂、数据一致性要求高的业务场景。

elasticsearch和核心组件包含哪些?

节点(Node):elasticsearch集群中一个服务器实例,负责存储数据、处理请求等,根据角色不同可分为主节点、数据节点、协调节点等。

集群(Cluster):由一个或多个节点组成的elasticsearch实例的集合,用于存储和管理数据。

索引(Index):文档的集合,类似于关系型数据库中的数据库。

类型(Type):一个索引对应一种文档类型。

文档(Document):elasticsearch中存储的基本单位,以JSON格式表示。

什么是elasticsearch中的"倒排索引"?

正向索引:根据文档查询其中包含的词。

倒排索引:建立一个词到文档的映射关系。

具体来说:

每个词对应一个词典项,词典项中包含了改词的所有文档列表,以及每个文档中改词出现的频率、位置等信息。当用户进行搜索时,elasticsearch会根据查询在词典中查找对应的文档列表,从而快速定位包含该词的文档,从而提高效率。

集群管理与监控类

如何查看elasticsearch集群的健康状态?

curl -X GET "localhost:9200/_cluster/health" 813

green:主分片和副本分片都正常分配。

yellow:主分片分配成功,但副本分片未分配,可能存在节点故障或网络问题导致副本未就绪。

red:主分片未分配,此时部分数据不可用,集群处于异常。

elasticsearch集群中主分片和副本分片的作用是什么?如何配置它们的数量?

主分片:每个索引的文档都会被分配到一个主分片中,主分片负责存储实际的数据。

一个索引可以有多个主分片,主分片的数量在索引创建时确定,并且不能更改。

主分片的数量应根据预计的数据量和集群的节点容量来确定,建议:主分片数量最多不要超过集群中节点的数量,避免单个节点分配过多主分片而造成资源紧张。

副本分片:为主分片的副本,用于高可用性和容错性。

当某个主分片所在的节点发生故障时,副本分片可以提升为主分片继续提供服务。同时也能够分担读请求,提高搜索和查询效率。

副本分片的数量可以在索引创建后动态调整。

案例:在不影响业务的情况下最多可以容忍几台服务器宕机?

如果你要容忍N台服务器故障,集群需要2N+1台服务器,故高可用集群都采用奇数台服务器。

1)5台服务器的最大允许宕机服务器数是多少?

2n+1=5---->n=2

2)6台服务器的最大允许宕机服务器数是多少?

2n+1=6---->n=2

如何监控elasticsearch集群的性能指标?

使用elasticsearch自带的监控API:

/_cat:API可以用于获取集群、节点、索引等基本信息。

_cat/indices:查看索引的健康状态、文档数量、存储大小。

_cat/nodes:查看节点的状态、CPU使用率、内存使用率等。

_nodes/status:获取节点的详细统计信息(含索引、分片、缓存、线程池等)。

第三方监控工具:Prometheus + Grafana。

prometheus可以收集elasticsearch的各种指标数据,包含JVM堆内存使用率、索引和搜索的吞吐量、分片分配情况等。

通过Grafana可视化这些数据,及时发现潜在的性能瓶颈和问题。

性能优化与故障处理

如何优化elasticsearch的搜索性能?

合理设置索引的分片和副本数量:

根据数据量和集群资源合理配置主分片数和副本数,避免分片过多或过少。

优化查询语句:

采用更高效的查询方式。

例如避免使用通配符查询(如*)开头的查询方式。

调整java堆内存大小:

elasticsearch运行在jvm上,适当的堆内存大小对性能至关重要。

通常建议将堆内存大小设置为系统物理内存的一半即可。且不超过32GB,避免降低性能。

硬件升级和优化:

对于高并发、大数据量的场景,可以通过增加节点、升级服务器硬件(如,CPU\内存\SSD磁盘等)来提升集群的整体性能。

当elasticsearch节点出现故障或集群为red时,如何进行故障排查?

收集故障信息:

查看elasticsearch的日志文件,日志文件通常位于logs目录下,所以从中获取节点故障的错误信息、异常堆栈等,初步判断故障原因。

使用curl -X GET "localhost:9200/_cluster/health"|jq查看集群健康状态,确保集群状态为red的具体原因(如主分片未分配等)。

检查节点连接和网络状况:

确认故障节点是否可以正常通信,检查网络连接是否正常,是否有网络分区或其他网络故障导致节点无法通信。

可通过ping命令测试节点之间的连通性,或使用telnet测试节点间的端口是否开放。

检查硬件资源:

查看故障节点的CPU、内存、磁盘等硬件资源使用情况,是否存在资源被耗尽的情况。

采用top/free -m/df -h等命令查看硬件资源状态。

根据故障原因进行恢复操作:

节点硬件故障(磁盘损坏):更换硬件并更新启动节点。

网络故障:修复网络连接后,集群会自动进行数据恢复和分片分配。

主分片未分配:根据具体情况,如增加副本数、调整分片分配策略等来解决。

相关推荐
无忧.芙桃6 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
戊本菌9 小时前
进程(三)进程优先级:谁先上 CPU
linux·c语言·硬件架构
aningx10 小时前
Arch 系用 greetd 实现开机自动进 Plasma Wayland,注销自动回桌面
linux
江无行者10 小时前
Linux 服务器 top 命令详解
linux
黑十11 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend11 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend12 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
Elasticsearch12 小时前
使用 Codex 来写入 PDF 文件并创建 AI Agent 对它进行问答
elasticsearch
上海潭龙东海科技有限公司12 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
嵌入式 Linux手记12 小时前
一块内存,三种解释:union 的真实用法
linux·c语言·驱动开发·嵌入式