Elasticsearch文档多个输入字段组成ID实现方法

1、场景描述:

使用Elasticsearch时,有时会需要指定文档id的场景,当文档id需要多个字段组成时,这种业务怎么处理呢?

2、问题描述:

现有一个ElasticSearch文档,假设文档id由userid、 eventTime、place三个字段组成,输入json字段属性为userid,username,place,eventTime,event 等。这时候如何在不改变json字符串的基础上完成文档id由userid 和 eventTime、place组成?

3、具体分析:

Elasticsearch7的特性是文档id要么市默认产生、要么是指定文档id需要输入时指定字段即可,这个指定的字段是一个输入字段,那么我们需要将上述问题:文档id由userid、 eventTime、place三个字段组成,只需要将userid、 eventTime、place三个字段转换成一个唯一的字段即可,最好使用MD5算法,在数据处理时,先将userid、 eventTime、place字段使用下划线连接起来,即:userid_eventTime_place,如concat(userid,eventTime,place,'_') as tid,然后使用MD5(tid)as id就可以了。

相关推荐
洛森唛30 分钟前
ElasticSearch查询语句Query String详解:从入门到精通
后端·elasticsearch
字节跳动数据平台1 小时前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康7 小时前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
洛森唛1 天前
Elasticsearch DSL 查询语法大全:从入门到精通
后端·elasticsearch
字节跳动数据平台1 天前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术1 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康1 天前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
武子康2 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
大大大大晴天2 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
Elasticsearch3 天前
如何使用 Agent Builder 排查 Kubernetes Pod 重启和 OOMKilled 事件
elasticsearch