ElasticSearch环境准备

Elasticsearch 是一个基于 Apache Lucene™ 的开源搜索引擎。不仅仅是一个全文搜索引擎,它还是一个分布式的搜索和分析引擎,可扩展并能够实时处理大数据。以下是关于 Elasticsearch 的一些主要特点和说明:

1.实时分析:Elasticsearch 能在大量数据上执行复杂的查询,并迅速返回结果。

2.分布式设计:它自动将数据分片,并在集群的不同节点上复制这些分片,以提供冗余和高可用性。

3.高可扩展性:可以简单地添加新节点,而 Elasticsearch 会自动重新平衡和路由数据。

4.多种数据类型:除了文本外,Elasticsearch 还可以处理结构化数据、数值、地理位置等数据。

5.基于 JSON:数据结构为 JSON 文档,并使用 HTTP RESTful API 进行通信。

6.灵活的查询语言:Elasticsearch 提供了一种非常灵活的查询语言,可以执行简单的文本查询到复杂的聚合查询。

7.集成与客户端库:Elasticsearch 提供了多种语言的官方客户端,如 Java、Python、PHP、JavaScript 等。

Elasticsearch 在许多应用中被广泛使用,包括日志和事件数据分析、内容搜索、数据可视化、地理搜索等。无论是在大型企业还是在初创公司,它都是实时搜索和分析大数据的流行选择。在本应用中,我们有大量的非结构化文档要存储(PDF、TXT和HTML),而ElasticSearch恰好可以帮助我们实现相应的检索功能。

我们通过Docker可以很方便的下载并启动一个ElasticSearch服务,执行下列命令即可。

bash 复制代码
docker pull docker.elastic.co/elasticsearch/elasticsearch:8.10.2
docker run --name es01 -d -p 9200:9200 -it -m 1GB docker.elastic.co/elasticsearch/elasticsearch:8.10.2

需要注意的是,如果在Windows上通过Docker(WSL 2支持)启动ElasticSearch,遇到报错"node validation exception\n1 bootstrap checks failed. You must address the points described in the following 1 lines before starting Elasticsearch.\nbootstrap check failure 1 of 1: max virtual memory areas vm.max_map_count 65530 is too low, increase to at least 262144",则需要配置一个参数。

bash 复制代码
wsl -d docker-desktop -u root
vi /etc/sysctl.conf

然后在文件中添加下面这一行。

bash 复制代码
vm.max_map_count = 262144

ElasticSearch第一次启动时,会创建一个默认用户elastic以及一个密码,如图6.x所示。这个用户认证信息只有在第一次启动时才会打印,因此我们需要将这个账号和密码记下来。

如果要在本地通过https链接到ElasticSearch,则还需要拷贝SSL证书到本地。

bash 复制代码
docker cp es01:/usr/share/elasticsearch/config/certs/http_ca.crt .

接下来我们可以通过Python的Elasticsearch库进行基本的Elasticsearch操作。

1.安装elasticsearch

bash 复制代码
pip install elasticsearch

2.设置和初始化连接

python 复制代码
from elasticsearch import Elasticsearch
client = Elasticsearch(
    "https://localhost:9200",
    ca_certs="./http_ca.crt",
    basic_auth=("elastic", "R+JWq7gBc4_rAPSN3gj7")
)

该部分首先从elasticsearch模块导入Elasticsearch类。然后,创建一个Elasticsearch客户端实例,并连接到本地运行在9200端口上的Elasticsearch服务器。使用ca_certs参数指定证书路径,并使用basic_auth参数为连接提供身份验证凭证。

3.创建索引

python 复制代码
client.indices.create(index="my_index", ignore=400)

这个命令尝试在Elasticsearch中创建一个名为my_index的新索引。ignore=400意味着如果索引已存在,将忽略400错误。

4.向索引中添加文档

python 复制代码
client.index(
    index="my_index",
    id="my_document_id",
    document={
        "foo": "foo",
        "bar": "bar",
    }
)

通过index方法将一个新文档添加到my_index索引中,并为其分配一个ID为my_document_id。

5.检索文档

python 复制代码
client.get(index="my_index", id="my_document_id")

该命令从my_index索引中检索ID为my_document_id的文档。

6.搜索文档

python 复制代码
client.search(index="my_index", query={
    "match": {
        "foo": "foo"
    }
})

在my_index索引中执行一个搜索查询,查找字段foo值为foo的文档。

7.更新文档

python 复制代码
client.update(index="my_index", id="my_document_id", doc={
    "foo": "bar",
    "new_field": "new value",
})

更新ID为my_document_id的文档,更改字段foo的值并添加一个新字段new_field。

8.删除文档

python 复制代码
client.delete(index="my_index", id="my_document_id")

从my_index索引中删除ID为my_document_id的文档。

9.删除索引

python 复制代码
client.indices.delete(index="my_index")

删除整个my_index索引。

相关推荐
TDengine (老段)5 小时前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
bksczm7 小时前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql
阿里云大数据AI技术8 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
衡石科技8 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
yyk3332411 小时前
Flink详细讲解
大数据·flink
顧棟12 小时前
【ES实战】 索引模板「可追溯、可校验」:一种模板治理的工程化思路
java·数据库·elasticsearch
用户460438522508613 小时前
关于paimon-rust 数据写入链路
大数据
数字融合14 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
演艺大赏15 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研15 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能