Hbase 与 ElasticSearch 的结合使用

最近在做用elasticSearch建立hbase的二级索引,通过查询elasticSearch实现对hbase的快速查询,从而实现海量数据的秒级快速查询。在这里记录一下自己工作的解决过程。

1 周五下午了。困,心放飞了。

2 哎,但是还在工作时间,还是好好干活吧。

3 疫情快点过去吧,快点过去吧。真的太煎熬了

4 言归正传,想吃大福

5 真的言归正传。

为什么要用hbase与elasticsearch结合使用的方式

(1). 使用hbase。业务数据量很多,及业务数据量本身的结构(视频相关行为),适合适用hbase

(2). hbase支持rowkey查询和过滤的多条件查询。但是如果想根据一个字段的内容去查询,则需要通过mapreduce等,查询缓慢。比如hbase存储的人的信息,想通过所在城市查询,想通过年龄查询。

(3). 可以用elasticsearch建立hbase的二级索引,elasticsearch是一个分布式的索引引擎,查询速度快,且通过倒排索引实现了全文搜索,每个字段都可以被索引和搜索。

elasticsearch 是什么

  • 一个分布式的实时文档存储,每个字段 可以被索引与搜索
  • 一个分布式实时分析搜索引擎
  • 能胜任上百个服务节点的扩展,并支持 PB 级别的结构化或者非结构化数据
主要思想

对hbase要查询的列建立es索引,然后根据es索引查询到rowkey,再根据rowkey查询到需要的数据。

不具体过程

1 建立索引

因为业务原因,需要每天更新全量索引和实时更新批量索引。

全量更新索引:mapreduce

实时更新索引:

(没了,至于为什么没了,是三年前的博文,忘记了。

相关推荐
Fireworkitte6 小时前
HBase、MongoDB 和 Redis 的区别详解
redis·mongodb·hbase
芥子沫10 小时前
ElasticSearch 的3种数据迁移方案
运维·elasticsearch·搜索引擎
今夜星辉灿烂12 小时前
异构数据库数据同步最佳实践
数据库·elasticsearch
鼠鼠我捏,要死了捏14 小时前
Elasticsearch索引设计与性能优化实战指南
elasticsearch·性能优化·索引设计
千层冷面14 小时前
git中多仓库工作的常用命令
大数据·elasticsearch·github
思绪漂移1 天前
阿里云【免费试用】Elasticsearch 智能运维 AI 助手
运维·elasticsearch·阿里云
java叶新东老师1 天前
git 提交时排除一个或多个文件
大数据·git·elasticsearch
jarreyer2 天前
【语义分割】记录2:yolo系列
大数据·yolo·elasticsearch
gorgor在码农3 天前
Elasticsearch 的聚合(Aggregations)操作详解
大数据·elasticsearch·搜索引擎
Hello.Reader3 天前
Elasticsearch安全审计日志设置与最佳实践
安全·elasticsearch·jenkins