将elasticsearch数据存储到excel中

由于elasticsearch数据在线上,偶尔需要将数据导到本地环境进行分析。目前有需求是将数据导入到excel表中,下面是我在用的实现方案。

1、将线上elasticsearch数据备份成文件

首先通过elasticdump组件将线上指定的index导出成文本文件

bash 复制代码
elasticdump --input="http://192.168.0.30:9200/adv_default" --output="/bigdata/adv_default.data" --type=data --limit=10000

数据样例:

2、将生成的文本文件下载到指定位置存储,以我本地电脑为例

3、通过python脚本将数据写入到excel

python 复制代码
import json

import pandas as pd

# 读取JSON文件
json_file_path = 'D:/data/adv_default.data'
with open(json_file_path, 'r', encoding='utf-8') as file:
    json_data = file.readlines()

# 解析JSON数据
data_list = []
for line in json_data:
    json_line = json.loads(line)
    source_data = json_line['_source']
    data_list.append(source_data)

# 转换为DataFrame
df = pd.DataFrame(data_list)
# 指定 输出的 Excel 文件路径

excel_output_file = json_file_path.split('.')[0] + '.xlsx'
# 将数据写入Excel文件
df.to_excel(excel_output_file, index=False)

生成的文件格式如下:

相关推荐
Hello.Reader6 小时前
Go-Elasticsearch v9 安装与版本兼容性
elasticsearch·golang·jenkins
数据与人工智能律师7 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
mykyle9 小时前
Elasticsearch-ik分析器
大数据·elasticsearch·jenkins
Goona_10 小时前
拒绝SQL恐惧:用Python+pyqt打造任意Excel数据库查询系统
数据库·python·sql·excel·pyqt
忘忧记10 小时前
excel删除重复项场景
excel
weixin_lynhgworld10 小时前
淘宝扭蛋机小程序系统开发:重塑电商互动模式
大数据·小程序
UrbanJazzerati12 小时前
Excel 神器 COUNTIFS 函数详解:多条件计数实战
excel
RPA+AI十二工作室13 小时前
影刀RPA_Temu关键词取数_源码解读
大数据·自动化·源码·rpa·影刀
Sui_Network13 小时前
探索 Sui 上 BTCfi 的各类资产
大数据·人工智能·科技·游戏·区块链
大数据张老师15 小时前
用 AI 做数据分析:从“数字”里挖“规律”
大数据·人工智能