elk之基础概念

写在前面

本文一起看下es的基础概念,比较枯燥的内容说,但不看又不行。开始。

1:document

文档,是es搜索存储数据的最小单元,相当于是MySQL的一行记录,但es中是一个json,如下是一个通过logstash转换csv生成的一个文档:

一个文档除了存储具体的数据之外还会存储一些元数据,包括如下:

复制代码
_id:es自动生成的unique id
_type:文档所属的类型名称,固定为_doc
_index:文档所属的索引名(索引可以理解为MySQL的表)
_source:存储文档的原始数据
_version:文档的版本信息
-score:文档的评分,跟着查询走的

2:索引

注意这里是名词index,而非动词indexing,索引是文档的容器,是一个逻辑概念,在索引中可以定义setting信息和mapping信息,其中setting信息用来设置分片,副本等信息,mapping用来设置文档的字段类型等信息,类似于MySQL的建表语句,如下:

3:type

6.0之前可以设置多个,是index下对document的进一步分组,在6.0已经废弃,但还可以设置,在7.0就默认只有一个_doc,不能设置了。

4:node

一个es实例就是一个node,node分为master-eligible node和master node,其中前者是非master node,后者是master node。从数据处理的角度分为data node,coordinating node,其中data node负责处理数据,coordinate node接收请求但不查询数据只负责代理查询以及汇总数据,另外,data node也是cordinate node。还有ingest节点,负责处理数据,如写入数据时处理后再写入。

5:分片

分片用来存储数据的逻辑单元,分为主分片和副本分片,主分片是直接写入数据的分片,副本分片是备份数据的分片,如下图:

分片分布在node上,如下在cerebro 查看:

6:rest api

可查看数据以及集群状态。

  • 查看集群状态

    在cerebro查看:
  • 查看集群节点
  • 查看分片

详细的api参考这里

写在后面

参考文章列表

相关推荐
泡沫·4 天前
ELK 企业日志分析系统核心总结
elk
我爱学习好爱好爱4 天前
ELK 7.17.10 收集Docker Compose部署的SpringBoot2+Vue3项目日志(Rockylinux9.6)
elk·docker·容器
我爱学习好爱好爱11 天前
ELK 7.17.10 + Redis 5.0.7 构建高可用 Nginx 日志收集系统(Rocky Linux 9.6 实战)
redis·nginx·elk
我爱学习好爱好爱15 天前
ELK日志分析平台(五):Filebeat 部署与 Nginx 日志采集(输出至 Logstash)(基于Rocky Linux 9.6)
linux·nginx·elk
我爱学习好爱好爱17 天前
ELK日志分析平台(三):Logstash 7.17.10 独立节点部署与基础测试(基于Rocky Linux 9.6)
linux·python·elk
我爱学习好爱好爱17 天前
ELK日志分析平台(四):Kibana 7.17.10 部署与基本配置(与ES01同机,基于Rocky Linux 9.6)
linux·运维·elk
七夜zippoe18 天前
[特殊字符] Python日志系统革命:Loguru结构化日志与ELK Stack集中管理实战指南
大数据·python·elk·loguru·logstash
来一杯龙舌兰18 天前
【ELK】Filebeat+Redis+双Logstash架构解析与部署教程(图文)
redis·elk·架构·日志监控
A 糖醋排骨18 天前
小型项目elk搭建
elk
昱宸星光1 个月前
ELK日志收集平台搭建
elk