kinana是一个功能强大、可对Elasticsearch数据进行可视化的开源工具。
我们在dashboard创建可视化时,有时需要将某个index里数据的某个字段根据是否包含某些特定关键词进行过滤,这个时候就可以用到lens里的filter功能很方便地进行操作。
如上图所示,一个名为 formatted-logs的index数据用于检索,我选择了三个字段构成图中的表格,分别是 hostname, abstract 和 log.keyword。
需求一:
将 log.keyword 字段中包含 "No. of IPv6 Unicast prefixes received from" 字符串的行数筛选出来。
操作:
点击 "添加筛选",选择 log.keyword 字段,在运算符处选择 "是",然后在"值"一栏填入"No. of IPv6 Unicast prefixes received from *",因为我们是要匹配包含某字符串的字段内容而不是精确查找,填写完成后点击"保存",然后会发现一个问题,就是找不到结果。
这个时候再点击刚刚创建的filter标签,点击"编辑筛选"。
点击"编辑为查询DSL",DSL是ES提供的一种灵活的、基于 JSON 的查询语言。
这个时候可以看到实际用来查询的DSL,可以发现用到的检索是精确匹配,用的是"match_phrase", 我们希望能够用*进行模糊匹配,所以要把检索方式换成"wildcard"
将精确匹配的"match_phrase"换成支持模糊匹配的"wildcard",然后再点击"保存"
保存之后,就可以看到所有选择的时间范围内包含 "No. of IPv6 Unicast prefixes received from *" 字符串的日志数据了。
需求二:
将 log.keyword 字段中包含 "No. of IPv6 Unicast prefixes received from" 字符串的日志数据过滤掉。
操作:
将包含某指定字符串的数据行过滤掉不显示在表格内容中,其实就是在实现需求一所用到的ES查询DSL中进行反向操作。
这个时候可以使用 bool
查询中的 must_not
子句。must_not
子句用于排除与特定条件匹配的字段所在行数据(谢谢ChatGPT的倾情解答)。
那么将DSL调整为如下即可:
这个时候再更新检索结果,就可以看到log.keyword 字段中不包含 "No. of IPv6 Unicast prefixes received from" 字符串的日志数据。
最后的温馨tips: DSL 可以使用AI工具帮忙生成!!再次感谢ChatGPT。