将elasticsearch数据存储到excel中

由于elasticsearch数据在线上,偶尔需要将数据导到本地环境进行分析。目前有需求是将数据导入到excel表中,下面是我在用的实现方案。

1、将线上elasticsearch数据备份成文件

首先通过elasticdump组件将线上指定的index导出成文本文件

bash 复制代码
elasticdump --input="http://192.168.0.30:9200/adv_default" --output="/bigdata/adv_default.data" --type=data --limit=10000

数据样例:

2、将生成的文本文件下载到指定位置存储,以我本地电脑为例

3、通过python脚本将数据写入到excel

python 复制代码
import json

import pandas as pd

# 读取JSON文件
json_file_path = 'D:/data/adv_default.data'
with open(json_file_path, 'r', encoding='utf-8') as file:
    json_data = file.readlines()

# 解析JSON数据
data_list = []
for line in json_data:
    json_line = json.loads(line)
    source_data = json_line['_source']
    data_list.append(source_data)

# 转换为DataFrame
df = pd.DataFrame(data_list)
# 指定 输出的 Excel 文件路径

excel_output_file = json_file_path.split('.')[0] + '.xlsx'
# 将数据写入Excel文件
df.to_excel(excel_output_file, index=False)

生成的文件格式如下:

相关推荐
Qdgr_1 小时前
价值实证:数字化转型标杆案例深度解析
大数据·数据库·人工智能
选择不变1 小时前
日线周线MACD指标使用图文教程,通达信指标
大数据·区块链·通达信指标公式·炒股技巧·短线指标·炒股指标
高山莫衣1 小时前
git rebase多次触发冲突
大数据·git·elasticsearch
Prodigy_kyw2 小时前
VBA初学3----实战(VBA实现Excel转csv)
excel·vba·csv
链上Sniper2 小时前
智能合约状态快照技术:实现 EVM 状态的快速同步与回滚
java·大数据·linux·运维·web3·区块链·智能合约
kobe_OKOK_2 小时前
【团队开发】git 操作流程
git·elasticsearch·团队开发
wx_ywyy67982 小时前
推客系统小程序终极指南:从0到1构建自动裂变增长引擎,实现业绩10倍增长!
大数据·人工智能·短剧·短剧系统·推客系统·推客小程序·推客系统开发
蚂蚁数据AntData2 小时前
从性能优化赛到社区Committer,走进赵宇捷在Apache Fory的成长之路
大数据·开源·apache·数据库架构
谷新龙0014 小时前
大数据环境搭建指南:基于 Docker 构建 Hadoop、Hive、HBase 等服务
大数据·hadoop·docker
红衣女妖仙5 小时前
JXLS 库导出复杂 Excel
java·excel·jxls·java 导出 excel