将elasticsearch数据存储到excel中

由于elasticsearch数据在线上,偶尔需要将数据导到本地环境进行分析。目前有需求是将数据导入到excel表中,下面是我在用的实现方案。

1、将线上elasticsearch数据备份成文件

首先通过elasticdump组件将线上指定的index导出成文本文件

bash 复制代码
elasticdump --input="http://192.168.0.30:9200/adv_default" --output="/bigdata/adv_default.data" --type=data --limit=10000

数据样例:

2、将生成的文本文件下载到指定位置存储,以我本地电脑为例

3、通过python脚本将数据写入到excel

python 复制代码
import json

import pandas as pd

# 读取JSON文件
json_file_path = 'D:/data/adv_default.data'
with open(json_file_path, 'r', encoding='utf-8') as file:
    json_data = file.readlines()

# 解析JSON数据
data_list = []
for line in json_data:
    json_line = json.loads(line)
    source_data = json_line['_source']
    data_list.append(source_data)

# 转换为DataFrame
df = pd.DataFrame(data_list)
# 指定 输出的 Excel 文件路径

excel_output_file = json_file_path.split('.')[0] + '.xlsx'
# 将数据写入Excel文件
df.to_excel(excel_output_file, index=False)

生成的文件格式如下:

相关推荐
在未来等你1 小时前
Elasticsearch面试精讲 Day 23:安全认证与权限控制
elasticsearch· 面试· 安全认证· 权限控制· x-pack security· rbac· ldap
mudtools1 小时前
.net操作Excel:图表 (Chart) 的创建与定制
c#·.net·excel·wps
斯普信专业组1 小时前
Filebeat写ElasticSearch故障排查思路(上)
运维·elasticsearch·中间件·filebeat
码农学院1 小时前
Excel批量导入到数据库的方法
数据库·oracle·excel
程序员果子3 小时前
Kafka 深度剖析:架构演进、核心概念与设计精髓
大数据·运维·分布式·中间件·架构·kafka
Elasticsearch3 小时前
如何在 vscode 里配置 MCP 并连接到 Elasticsearch
elasticsearch
在钱塘江3 小时前
Elasticsearch 快速入门 - Python版本
后端·python·elasticsearch
isfox3 小时前
Hadoop RPC深度解析:分布式通信的核心机制
大数据
猎板PCB黄浩4 小时前
PCB 半固化片:被忽视的成本控制关键,猎板的技术选型与安全适配策略
大数据·网络·人工智能
stjiejieto4 小时前
从工具到生产力:2025 年 “人工智能 +” 的产业落地全景与价值重构
大数据·人工智能·重构