将elasticsearch数据存储到excel中

由于elasticsearch数据在线上,偶尔需要将数据导到本地环境进行分析。目前有需求是将数据导入到excel表中,下面是我在用的实现方案。

1、将线上elasticsearch数据备份成文件

首先通过elasticdump组件将线上指定的index导出成文本文件

bash 复制代码
elasticdump --input="http://192.168.0.30:9200/adv_default" --output="/bigdata/adv_default.data" --type=data --limit=10000

数据样例:

2、将生成的文本文件下载到指定位置存储,以我本地电脑为例

3、通过python脚本将数据写入到excel

python 复制代码
import json

import pandas as pd

# 读取JSON文件
json_file_path = 'D:/data/adv_default.data'
with open(json_file_path, 'r', encoding='utf-8') as file:
    json_data = file.readlines()

# 解析JSON数据
data_list = []
for line in json_data:
    json_line = json.loads(line)
    source_data = json_line['_source']
    data_list.append(source_data)

# 转换为DataFrame
df = pd.DataFrame(data_list)
# 指定 输出的 Excel 文件路径

excel_output_file = json_file_path.split('.')[0] + '.xlsx'
# 将数据写入Excel文件
df.to_excel(excel_output_file, index=False)

生成的文件格式如下:

相关推荐
Yusei_05239 分钟前
迅速掌握Git通用指令
大数据·git·elasticsearch
一只栖枝6 小时前
华为 HCIE 大数据认证中 Linux 命令行的运用及价值
大数据·linux·运维·华为·华为认证·hcie·it
喂完待续11 小时前
Apache Hudi:数据湖的实时革命
大数据·数据仓库·分布式·架构·apache·数据库架构
青云交11 小时前
Java 大视界 -- 基于 Java 的大数据可视化在城市交通拥堵治理与出行效率提升中的应用(398)
java·大数据·flink·大数据可视化·拥堵预测·城市交通治理·实时热力图
还是大剑师兰特17 小时前
Flink面试题及详细答案100道(1-20)- 基础概念与架构
大数据·flink·大剑师·flink面试题
水无痕simon18 小时前
5 索引的操作
数据库·elasticsearch
1892280486120 小时前
NY243NY253美光固态闪存NY257NY260
大数据·网络·人工智能·缓存
武子康21 小时前
大数据-70 Kafka 日志清理:删除、压缩及混合模式最佳实践
大数据·后端·kafka
CCF_NOI.1 天前
解锁聚变密码:从微观世界到能源新未来
大数据·人工智能·计算机·聚变
杨荧1 天前
基于Python的电影评论数据分析系统 Python+Django+Vue.js
大数据·前端·vue.js·python