Elasticsearch学习笔记(八) Metricbeat安全配置—通过API连接Elasticsearch

在前面的教程中,我们配置了Metricbeat的数字证书,但是在配置文件中使用了elastic的内置超级用户elastic并且在配置文件中硬编码了用户名和密码,这样做是有一定的安全风险的,为了解决这个问题,需要在kibana中为metricbeat新建一个权限用户,然后利用API的方式实现Metricbeat和kibana之间的通信。

1.新建用户

登录kibana的管理页面,按照下面的步骤新建一个发布用户。

1.1 为新用户创建角色

Stack Management > Roles > Create role

Stack管理->安全->角色

Role name: metricbeat-user
Cluster privileges: monitor read_ilm manage_index_templates
Indices: metricbeat-*
Privileges: create_doc

通过上面的操作新建了一个用户角色:metricbeat-user,它的集群权限为monitor、read_ilm和manage_index_templates,对应的索引是metricbeat用户的权限是create_doc。

⚠️ 在创建角色时应当本着最小权限原则,否则就失去了利用角色控制安全的作用了。

⚠️ 集群权限如果缺少manage_index_templates时会报错。

1.2 创建用户

创建用户

👿 用户权限这里除了要为用户赋1.1中新创建的角色,还要再加上editor角色权限。

2.生成API

使用kibana的开发工具,使用下面的命令生成API。

# 生成API 
POST /_security/api_key/grant
{
  "grant_type": "password",
  "username": "metric",
  "password": "Yourpassword",
  "api_key": {
    "name": "metric"
  }
}

💁‍♂ 注意不要照抄我的命令,username和password根据实际进行填写。

生成的API先保存起来,后面还会用到。

{
  "id": "Hi22rJIBZeCTcJCiOY1O",
  "name": "metric",
  "api_key": "zOvXXaWdQISYa5kvRNoPSw",
  "encoded": "SGkyMnJKSUJaZUNUY0pDaU9ZMU86ek92WFhhV2RRSVNZYTVrdlJOb1BTdw=="
}

3.添加API到keystore

接下来把上面生成的API添加到keystore中。这里需要用到的是:<api_key>。

以我上面的API为例就是:Hi22rJIBZeCTcJCiOY1O:zOvXXaWdQISYa5kvRNoPSw

使用下面的命令将:<api_key>添加到keystore中。

/usr/share/metricbeat/bin/metricbeat keystore add ES_API_KEY -c /etc/metricbeat/metricbeat.yml --path.home /usr/share/metricbeat/ --path.data /var/lib/metricbeat

📓 ES_API_KEY是你自定义的key name请根据实际情况命名。

📓 执行上条命令时,输入等待是不显字符的,要小心操作,防止重复输入:<api_key>。如果感觉输入有误可以使用下面的命令删除keystore

/usr/share/metricbeat/bin/metricbeat keystore remove ES_API_KEY -c /etc/metricbeat/metricbeat.yml --path.home /usr/share/metricbeat/ --path.data /var/lib/metricbeat

4.修改metricbeat配置文件

output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["https://192.168.50.7:9200"]
  ssl.certificate_authorities: ["/etc/metricbeat/certs/ca.crt"]
  ssl.certificate: "/etc/metricbeat/certs/elastic.crt"
  ssl.key: "/etc/metricbeat/certs/elastic.key"
  protocol: "https"
  api_key: "${ES_API_KEY}"

这里就使用${ES_API_KEY}代替了前面的硬编码,安全性得到了提升。

⚠️ 我使用了一个新的节点,这里的证书配置请参考我前面的教程。

使用下面的命令检查配置文件是否正确。

/usr/share/metricbeat/bin/metricbeat test config -c /etc/metricbeat/metricbeat.yml --path.home /usr/share/metricbeat/ --path.data /var/lib/metricbeat

检查输出是否正常。

/usr/share/metricbeat/bin/metricbeat test output -c /etc/metricbeat/metricbeat.yml --path.home /usr/share/metricbeat/ --path.data /var/lib/metricbeat

如果出现上图所示输出说明证书配置正确。

如果出现以下报错信息:

talk to server... ERROR 401 Unauthorized: {"error":{"root_cause":[{"type":"security_exception","reason":"unable to authenticate with provided credentials and anonymous access is not allowed for this request","additional_unsuccessful_credentials":"API key: invalid ApiKey value","header":{"WWW-Authenticate":["Basic realm="security" charset="UTF-8"","Bearer realm="security"","ApiKey"]}}],"type":"security_exception","reason":"unable to authenticate with provided credentials and anonymous access is not allowed for this request","additional_unsuccessful_credentials":"API key: invalid ApiKey value","header":{"WWW-Authenticate":["Basic realm="security" charset="UTF-8"","Bearer realm="security"","ApiKey"]}},"status":401}

说明ApiKey有问题,请检查你的:<api_key>或者删除再重新添加。

报错信息

Exiting: error loading template: failed to load template: couldn't load template: 403 Forbidden: {"error":{"root_cause":[{"type":"security_exception","reason":"action [indices:admin/index_template/put] is unauthorized for API key id [py3JrJIBZeCTcJCiiZeI] of user [metric], this action is granted by the cluster privileges [manage_index_templates,manage,all]"}],"type":"security_exception","reason":"action [indices:admin/index_template/put] is unauthorized for API key id [py3JrJIBZeCTcJCiiZeI] of user [metric], this action is granted by the cluster privileges [manage_index_templates,manage,all]"},"status":403}. Response body: {"error":{"root_cause":[{"type":"security_exception","reason":"action [indices:admin/index_template/put] is unauthorized for API key id [py3JrJIBZeCTcJCiiZeI] of user [metric], this action is granted by the cluster privileges [manage_index_templates,manage,all]"}],"type":"security_exception","reason":"action [indices:admin/index_template/put] is unauthorized for API key id [py3JrJIBZeCTcJCiiZeI] of user [metric], this action is granted by the cluster privileges [manage_index_templates,manage,all]"},"status":403}

说明用户角色权限配置有问题,应当按照最小权限的原则配置,这里需要多次尝试,可以试着先给最高权限是否报错会消失,然后再依次降低权限下图是我的权限配置。

5.重启metricbeat验证

重启metricbeat并到kibana中查看监测数据是否正常。

systemctl restart metricbeat


相关推荐
A懿轩A20 分钟前
C/C++ 数据结构与算法【栈和队列】 栈+队列详细解析【日常学习,考研必备】带图+详细代码
c语言·数据结构·c++·学习·考研·算法·栈和队列
居居飒29 分钟前
Android学习(四)-Kotlin编程语言-for循环
android·学习·kotlin
kkflash31 小时前
提升专业素养的实用指南
学习·职场和发展
成长的小牛2331 小时前
es使用knn向量检索中numCandidates和k应该如何配比更合适
大数据·elasticsearch·搜索引擎
Hejjon1 小时前
SpringBoot 整合 SQLite 数据库
笔记
1 9 J2 小时前
数据结构 C/C++(实验五:图)
c语言·数据结构·c++·学习·算法
Elastic 中国社区官方博客2 小时前
Elasticsearch:什么是查询语言?
大数据·数据库·elasticsearch·搜索引擎·oracle
6.943 小时前
Scala——身份证号码查询籍贯
学习·scala
爱吃西瓜的小菜鸡3 小时前
【C语言】矩阵乘法
c语言·学习·算法
启明真纳3 小时前
elasticache备份
运维·elasticsearch·云原生·kubernetes