Hbase 与 ElasticSearch 的结合使用

最近在做用elasticSearch建立hbase的二级索引,通过查询elasticSearch实现对hbase的快速查询,从而实现海量数据的秒级快速查询。在这里记录一下自己工作的解决过程。

1 周五下午了。困,心放飞了。

2 哎,但是还在工作时间,还是好好干活吧。

3 疫情快点过去吧,快点过去吧。真的太煎熬了

4 言归正传,想吃大福

5 真的言归正传。

为什么要用hbase与elasticsearch结合使用的方式

(1). 使用hbase。业务数据量很多,及业务数据量本身的结构(视频相关行为),适合适用hbase

(2). hbase支持rowkey查询和过滤的多条件查询。但是如果想根据一个字段的内容去查询,则需要通过mapreduce等,查询缓慢。比如hbase存储的人的信息,想通过所在城市查询,想通过年龄查询。

(3). 可以用elasticsearch建立hbase的二级索引,elasticsearch是一个分布式的索引引擎,查询速度快,且通过倒排索引实现了全文搜索,每个字段都可以被索引和搜索。

elasticsearch 是什么

  • 一个分布式的实时文档存储,每个字段 可以被索引与搜索
  • 一个分布式实时分析搜索引擎
  • 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据
主要思想

对hbase要查询的列建立es索引,然后根据es索引查询到rowkey,再根据rowkey查询到需要的数据。

不具体过程

1 建立索引

因为业务原因,需要每天更新全量索引和实时更新批量索引。

全量更新索引:mapreduce

实时更新索引:

(没了,至于为什么没了,是三年前的博文,忘记了。

相关推荐
斑驳竹影23 分钟前
ElasticSearch存储引擎
大数据·elasticsearch·搜索引擎
努力的布布5 小时前
Elasticsearch-模糊查询
大数据·elasticsearch·搜索引擎
m0_748237057 小时前
Monorepo pnpm 模式管理多个 web 项目
大数据·前端·elasticsearch
java1234_小锋8 小时前
ElasticSearch如何做性能优化?
大数据·elasticsearch·性能优化
LI JS@你猜啊19 小时前
Elasticsearch 集群
大数据·服务器·elasticsearch
小刘鸭!1 天前
Hbase的特点、特性
大数据·数据库·hbase
神奇侠20241 天前
解决集群Elasticsearch 未授权访问漏洞
elasticsearch
Elastic 中国社区官方博客1 天前
如何通过 Kafka 将数据导入 Elasticsearch
大数据·数据库·分布式·elasticsearch·搜索引擎·kafka·全文检索
神奇侠20241 天前
解决单台Elasticsearch 未授权访问漏洞
elasticsearch
nece0011 天前
elasticsearch 杂记
大数据·elasticsearch·搜索引擎