09-02 周一 Ubuntu上部署elasticsearch和kibana服务
时间 | 版本 | 修改人 | 描述 |
---|---|---|---|
2024年9月2日11:13:54 | V0.1 | 宋全恒 | 新建文档 |
简介
由于组里需要提供一个简易的环境来部署一套服务,可以通过接口进行数据的存储和检索,因此,直接部署一套ES服务来充当这样的功能,本文主要是负责记录整个环境的搭建过程。
步骤
确定docker命令可以使用
bash
songquanheng@zhangyi-H3C-UniServer-R4900-G5:/var/run$ ll | grep docker
drwx------ 5 root root 120 Sep 2 11:05 docker/
-rw-r--r-- 1 root root 6 Sep 2 11:05 docker.pid
srw-rw---- 1 root docker 0 Aug 23 17:33 docker.sock=
这说明无法使用docker,将当前用户加入docker用户组,并更新用户
从输出中可以看到,/var/run/docker.sock
的权限是 srw-rw----
,它的所有者是 root
,组是 docker
。因此,只有 root
用户和 docker
组中的用户可以访问该套接字。
如果你仍然收到权限错误信息,可能是因为以下几个原因:
- 当前用户尚未被正确添加到
docker
组。 - 添加到
docker
组的更改尚未生效。
解决步骤:
- 确认当前用户是否在
docker
组中
请运行以下命令,确认当前用户是否在 docker
组中:
groups $(whoami)
输出结果中应该包含 docker
,例如:
bash
songquanheng : songquanheng docker
如果没有看到 docker
,请按照下一步操作。
- 将用户添加到
docker
组
如果当前用户还没有加入 docker
组,请运行以下命令将其添加进去:
bash
Copy code
sudo usermod -aG docker $(whoami)
- 重新加载组信息或重新登录
添加用户到 docker
组后,你需要重新加载组信息或注销并重新登录才能生效。
3.1 重新加载组信息
运行以下命令:
bash
newgrp docker
注,上述命令是非常关键的。
newgrp docker
是一个 Linux 命令,用于切换当前会话的用户组,或重新加载用户组配置。
作用
- 切换当前用户的活动组 :在 Linux 系统中,每个用户可以属于多个组,但每个会话只能有一个活动组。
newgrp
命令用于切换到另一个组,使得后续在该终端中的所有操作都以新的组身份进行。 - 重新加载组信息 :当你将用户添加到一个新的组(如
docker
组)后,通常需要重新登录才能使更改生效。使用newgrp docker
可以立即应用这个更改,而不需要完全注销并重新登录。
用例
在将用户添加到 docker
组后,运行 newgrp docker
可以立即让当前终端会话感知到这个更改,使得你能够立即运行需要组权限的命令,比如 docker ps
,而不需要注销或者重启终端。
3.2 重新登录
如果你选择完全注销并重新登录,也会使更改生效。
- 验证修复
重新登录或加载组信息后,再次尝试运行 Docker 命令:
bash
Copy code
docker ps
如果成功执行,说明问题已解决。
建立docker-compose.yaml
yml
version: '3.8'
services:
elasticsearch:
image: elasticsearch:8.15.0
container_name: elasticsearch
environment:
- node.name=es01
- cluster.name=docker-cluster
- discovery.type=single-node
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms1g -Xmx1g"
- xpack.security.enabled=false # 禁用安全功能,方便初始测试
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- /data/es_data:/usr/share/elasticsearch/data
ports:
- "9200:9200"
networks:
- elastic
kibana:
image: kibana:8.15.0
container_name: kibana
environment:
- ELASTICSEARCH_HOSTS=http://elasticsearch:9200
ports:
- "5601:5601"
networks:
- elastic
networks:
elastic:
driver: bridge
关于数据存储目录,参加如下内容
Kibana 容器不需要与 Elasticsearch 相同的数据目录。这是因为 Elasticsearch 和 Kibana 的角色不同,它们的存储需求也不同:
Elasticsearch 和 Kibana 的不同角色
- Elasticsearch :
- 角色 : Elasticsearch 是一个搜索和分析引擎,
它负责存储、索引和检索数据。
它将数据持久化存储在磁盘上,因此需要一个数据目录来保存索引数据、配置文件、日志等。 - 数据目录 : 在 Docker 环境中,这通常映射到容器内部的
/usr/share/elasticsearch/data
目录。在你的配置中,已经将这个目录映射到主机的/data/es_data
路径中。
- 角色 : Elasticsearch 是一个搜索和分析引擎,
- Kibana :
- 角色: Kibana 是一个用于可视化和管理 Elasticsearch 数据的工具。它不直接存储数据,而是依赖 Elasticsearch 来提供数据查询结果。Kibana 本身主要用于管理配置文件、插件和用户会话等。
- 数据持久化: Kibana 的大部分数据(如用户设置、仪表板等)是存储在 Elasticsearch 中的索引中,而不是在 Kibana 自己的文件系统中。因此,Kibana 不需要像 Elasticsearch 那样的大量持久化存储。
Kibana 的存储需求
Kibana 本身可能只需要在本地存储少量的日志文件或缓存数据。因此,通常你不需要为 Kibana 容器设置专门的持久化数据目录。
总结
- Elasticsearch 需要一个持久化的数据目录,因为它是数据存储引擎。
- Kibana 不需要与 Elasticsearch 相同的数据目录,因为它主要依赖 Elasticsearch 来处理数据。Kibana 的配置和元数据大多存储在 Elasticsearch 中,而不是本地文件系统。
因此,在 docker-compose.yml
文件中,你只需为 Elasticsearch 设置数据目录映射,而 Kibana 不需要这样的配置。如果有特殊需求(例如 Kibana 插件存储、日志文件持久化等),可以为 Kibana 配置一个卷,但这通常不是必需的。
安装docker-compose
bash
sudo curl -L "https://github.com/docker/compose/releases/download/v2.29.0/docker-compose-$(uname -s)-$(uname -m)"
-o /usr/local/bin/docker-compose
为二进制文件赋予权限
bash
sudo chmod +x /usr/local/bin/docker-compose
启动容器
使用docker-compose管理一组容器,
bash
songquanheng@zhangyi-H3C-UniServer-R4900-G5:~/es$ docker-compose up -d
WARN[0000] /home/songquanheng/es/docker-compose.yml: the attribute `version` is obsolete, it will be ignored, please remove it to avoid potential confusion
[+] Running 3/3
✔ Network es_elastic Created 0.1s
✔ Container elasticsearch Started 0.5s
✔ Container kibana Started
解决问题,/usr/share/elasticsearch/data不可写问题
bash
,"error.message":"failed to obtain node locks, tried [/usr/share/elasticsearch/data]; maybe these locations are not writable or multiple nodes were started on the same data path?","error.stack_trace":"java.lang.IllegalStateException: failed to obtain node locks, tried [/usr/share/elasticsearch/data]; maybe these locations are not writable or multiple nodes were started on the same data path?\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:293)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.node.NodeConstruction.validateSettings(NodeConstruction.java:513)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.node.NodeConstruction.prepareConstruction(NodeConstruction.java:260)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.node.Node.<init>(Node.java:192)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.bootstrap.Elasticsearch$2.<init>(Elasticsearch.java:242)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.bootstrap.Elasticsearch.initPhase3(Elasticsearch.java:242)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:76)\nCaused by: java.io.IOException: failed to obtain lock on /usr/share/elasticsearch/data\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment$NodeLock.<init>(NodeEnvironment.java:238)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment$NodeLock.<init>(NodeEnvironment.java:206)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment.<init>(NodeEnvironment.java:285)\n\t... 6 more\nCaused by: java.nio.file.NoSuchFileException: /usr/share/elasticsearch/data/node.lock\n\tat java.base/sun.nio.fs.UnixException.translateToIOException(UnixException.java:92)\n\tat java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:106)\n\tat java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:111)\n\tat java.base/sun.nio.fs.UnixPath.toRealPath(UnixPath.java:886)\n\tat org.apache.lucene.core@9.11.1/org.apache.lucene.store.NativeFSLockFactory.obtainFSLock(NativeFSLockFactory.java:94)\n\tat org.apache.lucene.core@9.11.1/org.apache.lucene.store.FSLockFactory.obtainLock(FSLockFactory.java:43)\n\tat org.apache.lucene.core@9.11.1/org.apache.lucene.store.BaseDirectory.obtainLock(BaseDirectory.java:44)\n\tat org.elasticsearch.server@8.15.0/org.elasticsearch.env.NodeEnvironment$NodeLock.<init>(NodeEnvironment.java:231)\n\t... 8 more\n\tSuppressed: java.nio.file.AccessDeniedException: /usr/share/elasticsearch/data/node.lock\n\t\tat java.base/sun.nio.fs.UnixException.translateToIOException(UnixException.java:90)\n\t\tat java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:106)\n\t\tat java.base/sun.nio.fs.UnixException.rethrowAsIOException(UnixException.java:111)\n\t\tat java.base/sun.nio.fs.UnixFileSystemProvider.newByteChannel(UnixFileSystemProvider.java:261)\n\t\tat java.base/java.nio.file.Files.newByteChannel(Files.java:379)\n\t\tat java.base/java.nio.file.Files.createFile(Files.java:657)\n\t\tat org.apache.lucene.core@9.11.1/org.apache.lucene.store.NativeFSLockFactory.obtainFSLock(NativeFSLockFactory.java:84)\n\t\t... 11 more\n"}
权限问题:
- 错误信息中提到的
AccessDeniedException
和NoSuchFileException
,表明 Elasticsearch 容器内的/usr/share/elasticsearch/data
目录可能无法访问或没有正确的权限。 - 容器尝试创建或访问锁文件 (
node.lock
) 时,被系统拒绝访问,或者该文件无法创建。
宿主机上执行
bash
sudo chmod -R 775 /data/es_data
这个问题的原因是两个用户体系不同导致的,因为在宿主机上的用户和镜像启动的容器中用户体系是不同的。在容器中启动的用户是elasticsearch,而宿主机上并没有这个用户elasticsearch用户。
另外,由于镜像内,elasticsearch在容器中,用户
elasticsearch和kibana服务
elasticsearch服务
在本地使用浏览器访问地址获取Elasticsearch是否正常运行
bash
http://10.15.32.121:9200/
可以得到如下的响应
json
{
"name": "es01",
"cluster_name": "docker-cluster",
"cluster_uuid": "XCBd08pwQtKCDGEpbSlmKQ",
"version": {
"number": "8.15.0",
"build_flavor": "default",
"build_type": "docker",
"build_hash": "1a77947f34deddb41af25e6f0ddb8e830159c179",
"build_date": "2024-08-05T10:05:34.233336849Z",
"build_snapshot": false,
"lucene_version": "9.11.1",
"minimum_wire_compatibility_version": "7.17.0",
"minimum_index_compatibility_version": "7.0.0"
},
"tagline": "You Know, for Search"
}
获取集群健康信息
浏览器打开如下地址:
bash
http://10.15.32.121:9200/_cluster/health?pretty
得到如下输出
json
{
"cluster_name": "docker-cluster",
"status": "green",
"timed_out": false,
"number_of_nodes": 1,
"number_of_data_nodes": 1,
"active_primary_shards": 28,
"active_shards": 28,
"relocating_shards": 0,
"initializing_shards": 0,
"unassigned_shards": 0,
"delayed_unassigned_shards": 0,
"number_of_pending_tasks": 0,
"number_of_in_flight_fetch": 0,
"task_max_waiting_in_queue_millis": 0,
"active_shards_percent_as_number": 100
}
上述为单节点。green表示集群健康状态良好。
验证kibana服务
浏览器访问地址
bash
http://10.15.32.121:5601/
打开左侧菜单,进入Dev Tools
,可直接通过接口请求Elasticsearch中数据。
总结
至此,我们就通过镜像,通过docker-compose容器编排引擎简单的完成了Elasticsearch+kibana的环境了,
而且可以方便的移植到其他的地方。唯一需要的,只是docker-compose
,总之,想要在一个新的环境中完成上述环境的部署,我们需要如下的步骤:
- 完成docker的安装
- 完成docker-compose的安装
- 构建docker-compose.yml文件
- 启动和验证。