RediSearch vs. Elasticsearch vs. solr

1. RediSearch vs. Elasticsearch

RediSearch是一个分布式全文搜索和聚合引擎,作为Redis之上的一个模块构建。它使用户能够以极快的方式在Redis数据集上执行复杂的搜索查询。RediSearch的独特架构是用C编写的,从头开始构建在优化的数据结构上,使其成为市场上其他搜索引擎的真正替代品。它可以作为一个独立的搜索引擎进行索引和可搜索数据的检索。

当我们第一次推出RediSearch时,我们将其与Elasticsearch和Solr等流行搜索引擎进行了对比,以测试该引擎的强大程度。这一次,我们决定尝试一个稍微不同的基准,以便(a)为您提供一个清晰、可重复的设置,所有搜索引擎都经过优化,以提供最佳性能,并(b)根据我们从RediSearch用户那里看到的情况模拟多种现实生活场景。

基准

在这个搜索基准测试中,我们比较了RediSearch和Elasticsearch的两个用例:

  1. 索引和查询维基百科数据集
  2. 多租户环境中的快速索引

维基百科基准

我们首先从维基百科索引了560万个文档(5.3GB),然后在索引数据集上进行了两个单词的搜索查询。

索引结果

如下图所示,RediSearch用221秒建立索引,而Elasticsearch用349秒,速度快58%。

查询结果

数据集建立索引后,我们使用在专用负载生成器服务器上运行的32个客户端启动了两个单词的搜索查询。如下图所示,RediSearch的吞吐量达到了12.5K ops/sec,而Elasticsearch的吞吐量为3.1K op/sec,或快了x4。此外,RediSearch的延迟略好,平均为8秒,而Elasticsearch的延迟为10秒。

多租户索引基准

在这里,我们模拟了一个多租户电子商务应用程序,其中每个租户代表一个产品类别并维护自己的索引。对于这个基准,我们构建了5万个索引(或产品),每个索引最多存储500个文档(或项目),总共2500万个文档。RediSearch仅用201秒就建立了索引,同时平均每秒运行125K个索引。然而,Elasticsearch在921指数之后崩溃,显然并不是为了应对这种负载而设计的。

基准设置

硬件
数据源
RediSearch配置
Elasticsearch配置
版本
Name Value
RediSearch Version 1.4.3
Elasticsearch Version 6.6.0 with Lucene version 7.6.0
RediSearchBenchmark Benchmark code here

总结

我们为以下用例以RediSearch和Elasticsearch为基准:

  • 一个简单的维基百科用例------我们发现RediSearch在索引方面快了58%,在索引数据集上执行两个单词搜索时快了x4。
  • 一个更先进的多租户用例------RediSearch在201秒内创建了5万个索引,而Elasticsearch在创建了921个索引后崩溃。

Elasticsearch是由Elastic.co的伟人创建的一款功能丰富的搜索产品,但在性能方面,它存在固有的架构缺陷,如下表所示:

Component RediSearch Elasticsearch
搜索引擎 基于现代优化数据结构的专用引擎 基于Lucene引擎
编程语言 基于C语言,被极致优化过了 Java
存储技术 在DRAM和持久内存上本地运行 基于磁盘并带有缓存选项
协议 优化的RESP(REdis串行化协议) HTTP

2. Elasticsearch vs. solr

概述

在我们开始比较Elasticsearch和Solr之前,让我们简单定义一下它们是什么。

Elasticsearch是一个基于Apache Lucene的开源RESTful搜索引擎。它旨在处理大量数据,并提供近乎实时的搜索和分析功能。

Solr也是一个开源搜索平台,它也是建立在Lucene之上的。它旨在提供高速文本搜索、可扩展和容错的分布式搜索以及分面搜索功能。

既然我们知道了基本原理,让我们来比较一下这两者。

性能

在选择搜索平台时,最重要的考虑因素之一是性能。Elasticsearch和Solr都提供高速搜索和分析,但Elasticsearch无疑在几乎所有基准比较中都更快。事实上,在某些用例中,Elasticsearch比Solr快50%。Elasticsearch的高级缓存和巧妙的内存使用使其比Solr更具优势。

稳定性

Elasticsearch和Solr都是可扩展的,可以处理大量数据,但Elasticsearch的构建考虑到了可扩展性。Elasticsearch使用开箱即用的分布式架构,这意味着您可以通过添加更多节点来轻松地横向扩展集群。另一方面,Solr需要一些额外的配置来扩展。从这个意义上说,在可伸缩性方面,Elasticsearch显然是赢家。

搜索能力

Elasticsearch和Solr都擅长搜索,但它们对搜索的处理方式不同。Elasticsearch的搜索引擎是为结构化和非结构化搜索而构建的,而Solr更专注于文本搜索。Elasticsearch的DSL(领域特定语言)允许更复杂的查询生成器,而Solr的查询语法可能提供的灵活性较小。Elasticsearch还为搜索大型数据集提供了更好的聚合支持。

易用性

最后,易用性是一个重要的考虑因素。如果你习惯于使用Lucene,Solr将是两者中更容易学习的一个。另一方面,与Solr相比,Elasticsearch的学习曲线更陡。Elasticsearch拥有更全面的API。

结论

那么,你应该选择哪一个呢?和大多数事情一样,这取决于你的具体需求。如果你需要闪电般的搜索、可扩展性,并且有学习新技术的诀窍,Elasticsearch可能是一个更好的选择。如果您对文本搜索更感兴趣,并且已经熟悉Lucene,Solr可能是更好的选择。

参考1
参考2

相关推荐
WeeJot嵌入式30 分钟前
大数据治理:确保数据的可持续性和价值
大数据
晨欣1 小时前
Elasticsearch和Lucene之间是什么关系?(ChatGPT回答)
elasticsearch·chatgpt·lucene
zmd-zk1 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka
激流丶1 小时前
【Kafka 实战】如何解决Kafka Topic数量过多带来的性能问题?
java·大数据·kafka·topic
测试界的酸菜鱼2 小时前
Python 大数据展示屏实例
大数据·开发语言·python
时差9532 小时前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
Mephisto.java2 小时前
【大数据学习 | kafka高级部分】kafka中的选举机制
大数据·学习·kafka
Mephisto.java2 小时前
【大数据学习 | kafka高级部分】kafka的优化参数整理
大数据·sql·oracle·kafka·json·database
道可云2 小时前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
成都古河云2 小时前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市