工作中es客户端常见使用错误

背景:

7月9日因阿里云底层网络故障导致使用阿里云产品(redis,rocketmq等)均受影响,因为业务依赖mq异步将数据写入elasticsearch中,mq发送失败导致es部分数据丢失。丢失的数据需要从mysql中恢复到es中,毕竟es对外查询聚合的较多。

查询数据使用了kibbana工具,因为根据订单id查询es是否存在,订单id过多出现了一个请求体超长的错误。

{"statusCode":413,"error":"Request Entity Too Large","message":"Payload content length greater than maximum allowed: 1048576"}

修复数据用到es的客户端工具,写入es时报错

org.elasticsearch.action.ActionRequestValidationException: Validation Failed: 1: type is missing;2: type is missing;

经查证es版本问题,客户端高版本7.10.0以上才可以

另一个版本相关的问题:

进程启动,es初始化时报错

java.lang.NoSuchFieldError: IGNORE_DEPRECATIONS

最终脚本部署到生产服务器跑数据,checkdata,add/update data

相关推荐
Elasticsearch2 小时前
Elastic 的托管 OTLP 端点:为 SRE 提供更简单、可扩展的 OpenTelemetry
elasticsearch
喂完待续2 小时前
【Tech Arch】Hive技术解析:大数据仓库的SQL桥梁
大数据·数据仓库·hive·hadoop·sql·apache
SelectDB3 小时前
5000+ 中大型企业首选的 Doris,在稳定性的提升上究竟花了多大的功夫?
大数据·数据库·apache
最初的↘那颗心3 小时前
Flink Stream API 源码走读 - window 和 sum
大数据·hadoop·flink·源码·实时计算·窗口函数
Yusei_05235 小时前
迅速掌握Git通用指令
大数据·git·elasticsearch
一只栖枝11 小时前
华为 HCIE 大数据认证中 Linux 命令行的运用及价值
大数据·linux·运维·华为·华为认证·hcie·it
喂完待续15 小时前
Apache Hudi:数据湖的实时革命
大数据·数据仓库·分布式·架构·apache·数据库架构
青云交15 小时前
Java 大视界 -- 基于 Java 的大数据可视化在城市交通拥堵治理与出行效率提升中的应用(398)
java·大数据·flink·大数据可视化·拥堵预测·城市交通治理·实时热力图
还是大剑师兰特21 小时前
Flink面试题及详细答案100道(1-20)- 基础概念与架构
大数据·flink·大剑师·flink面试题
水无痕simon1 天前
5 索引的操作
数据库·elasticsearch