太强了!利用 Python 连接 ES 查询索引某个字段命中数的脚本!

作者:JackTian

来源:公众号「杰哥的IT之旅」

ID:Jake_Internet

转载请联系授权(微信ID:Hc220088)

原文链接:太强了!利用 Python 连接 ES 查询索引某个字段命中数的脚本!

当我们在工作中,如果频繁查询 Elasticsearch 某个索引中的某个字段命中的记录数量时,可以通过 Python 的 Elasticsearch 库来查询,从而提升工作效率。

代码大致思路如下:

第一步:从 elasticsearch 模块导入 Elasticsearch 类,该类是用来连接和操作 Elasticsearch

第二步 :安装 Elasticsearch 库,若未安装 elasticsearch 模块,可执行:pip install elasticsearch命令进行安装

第三步:连接 Elasticsearch,定义 Elasticsearch 对象,并指定所要连接的 URL、端口、用户名、密码、超时时间

第四步 :指定所要查询的索引,定义名为index_name的变量,值为:es 的索引名,在 Elasticsearch 中,索引是一个类似数据库的概念,用于存储数据

第五步 :创建查询条件,定义名为query的字典,该字典包含了查询条件。

查询条件是一个bool类型的查询,其中包含了多个terms查询,每个terms查询是用来匹配commandId字段等于指定值的记录

第六步 :执行查询并获取结果,使用es.search()方法执行查询,并将结果存储在results变量中。这个结果是一个字典,包含了查询的结果和其他相关信息

第七步 :打印聚合统计信息,循环遍历结果字典中的aggregations字段,并打印每个commandId的值及其对应的记录总数

完整代码如下:

python3 复制代码
# 精准匹配多个指令ID,查询有多少条日志
from elasticsearch import Elasticsearch  
  
# 如果没有 elasticsearch 模块,执行如下命令进行安装。  
# pip install elasticsearch  
  
# 连接 Elasticsearch  
es = Elasticsearch(hosts="http://localhost:29204/", http_auth=("elastic", "elastic"), timeout=30)  
  
# 指定要查询的索引  
index_name = 'idc_payloadresult_20231204'  
  
# 查询条件  
query = {  
    "query": {  
        "bool": {  
            "must": [  
                {  
                    "terms": {  
                        "commandId": ["1024", "2048", "3072", "4096", "5120"]  
                    }  
                }  
            ],  
            "must_not": [],  
            "should": []  
        }  
    },  
    "from": 0,  
    "size": 10,  
    "sort": [],  
    "aggs": {  
        "commandId_counts": {  
            "terms": {  
                "field": "commandId",  
            },  
            "aggs": {  
                "total_count": {  
                    "sum": {  
                        "field": "total"  
                    }  
                }  
            }  
        }  
    }  
}  
  
# 执行查询并获取结果  
results = es.search(index=index_name, body=query)  
  
# 打印结果中的聚合统计信息,包括每个 commandId 的总数  
for bucket in results['aggregations']['commandId_counts']['buckets']:  
    print(bucket)

以上就是今天所要分享的全部内容了。

如果你觉得这篇文章对你有点用的话,为本文点个赞留个言 或者转发一下,让更多的朋友看到,因为这将是我持续输出更多优质文章的最强动力!

相关推荐
南墙上的石头5 小时前
麒麟 V10 重装人大金仓 V8R6 踩坑实录(含 MySQL 兼容模式)
数据库·mysql
大圣编程6 小时前
Python中continue语句的用法是什么?
开发语言·前端·python
云烟成雨TD6 小时前
LangFlow 1.x 系列【5】可视化编辑页面功能说明
人工智能·python·agent
画中有画6 小时前
论向量数据库在项目中的应用
数据库
spider_xcxc7 小时前
Redis 数据库高质量实践指南(一)
运维·数据库·redis·oracle·云计算
geovindu7 小时前
python: Functional Options Pattern
开发语言·后端·python·设计模式·惯用法模式·函数式选项模式
l1t7 小时前
在linux和windows中解决duckdb 1.6dev版本输出执行计划报错问题
linux·运维·数据库·windows·duckdb
执子手 吹散苍茫茫烟波8 小时前
RC 隔离级别下 MySQL InnoDB 死锁典型案例
数据库·mysql
tryCbest8 小时前
Python 文件操作
服务器·python
涛声依旧-底层原理研究所8 小时前
Agent 长任务可靠性设计:实现暂停、恢复、续跑与崩溃重启的完整方案
人工智能·python·系统架构