Elasticsearch文档多个输入字段组成ID实现方法

1、场景描述:

使用Elasticsearch时,有时会需要指定文档id的场景,当文档id需要多个字段组成时,这种业务怎么处理呢?

2、问题描述:

现有一个ElasticSearch文档,假设文档id由userid、 eventTime、place三个字段组成,输入json字段属性为userid,username,place,eventTime,event 等。这时候如何在不改变json字符串的基础上完成文档id由userid 和 eventTime、place组成?

3、具体分析:

Elasticsearch7的特性是文档id要么市默认产生、要么是指定文档id需要输入时指定字段即可,这个指定的字段是一个输入字段,那么我们需要将上述问题:文档id由userid、 eventTime、place三个字段组成,只需要将userid、 eventTime、place三个字段转换成一个唯一的字段即可,最好使用MD5算法,在数据处理时,先将userid、 eventTime、place字段使用下划线连接起来,即:userid_eventTime_place,如concat(userid,eventTime,place,'_') as tid,然后使用MD5(tid)as id就可以了。

相关推荐
jiedaodezhuti1 小时前
Flink Checkpoint失败问题分析与解决方案
大数据·flink
海豚调度2 小时前
(二)一文读懂数仓设计的核心规范:从层次、类型到生命周期
大数据·数仓·技术规范
在未来等你2 小时前
Elasticsearch面试精讲 Day 15:索引别名与零停机更新
大数据·分布式·elasticsearch·搜索引擎·面试
IT研究室3 小时前
大数据毕业设计选题推荐-基于大数据的国内旅游景点游客数据分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·spark·毕业设计·源码·数据可视化·bigdata
Lx3523 小时前
YARN资源调度优化:最大化集群利用率
大数据·hadoop
智能化咨询3 小时前
【56页PPT】数字化智能工厂总体设计SRMWCSWMSMES&EMS系统建设方案(附下载方式)
大数据·云计算
在未来等你3 小时前
Elasticsearch面试精讲 Day 12:数据建模与字段类型选择
大数据·分布式·elasticsearch·搜索引擎·面试
Leo.yuan4 小时前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
chat2tomorrow4 小时前
数据采集平台的起源与演进:从ETL到数据复制
大数据·数据库·数据仓库·mysql·低代码·postgresql·etl
TDengine (老段)4 小时前
TDengine 选择函数 Max() 用户手册
大数据·数据库·物联网·时序数据库·tdengine·涛思数据