RediSearch vs. Elasticsearch vs. solr

1. RediSearch vs. Elasticsearch

RediSearch是一个分布式全文搜索和聚合引擎,作为Redis之上的一个模块构建。它使用户能够以极快的方式在Redis数据集上执行复杂的搜索查询。RediSearch的独特架构是用C编写的,从头开始构建在优化的数据结构上,使其成为市场上其他搜索引擎的真正替代品。它可以作为一个独立的搜索引擎进行索引和可搜索数据的检索。

当我们第一次推出RediSearch时,我们将其与Elasticsearch和Solr等流行搜索引擎进行了对比,以测试该引擎的强大程度。这一次,我们决定尝试一个稍微不同的基准,以便(a)为您提供一个清晰、可重复的设置,所有搜索引擎都经过优化,以提供最佳性能,并(b)根据我们从RediSearch用户那里看到的情况模拟多种现实生活场景。

基准

在这个搜索基准测试中,我们比较了RediSearch和Elasticsearch的两个用例:

  1. 索引和查询维基百科数据集
  2. 多租户环境中的快速索引

维基百科基准

我们首先从维基百科索引了560万个文档(5.3GB),然后在索引数据集上进行了两个单词的搜索查询。

索引结果

如下图所示,RediSearch用221秒建立索引,而Elasticsearch用349秒,速度快58%。

查询结果

数据集建立索引后,我们使用在专用负载生成器服务器上运行的32个客户端启动了两个单词的搜索查询。如下图所示,RediSearch的吞吐量达到了12.5K ops/sec,而Elasticsearch的吞吐量为3.1K op/sec,或快了x4。此外,RediSearch的延迟略好,平均为8秒,而Elasticsearch的延迟为10秒。

多租户索引基准

在这里,我们模拟了一个多租户电子商务应用程序,其中每个租户代表一个产品类别并维护自己的索引。对于这个基准,我们构建了5万个索引(或产品),每个索引最多存储500个文档(或项目),总共2500万个文档。RediSearch仅用201秒就建立了索引,同时平均每秒运行125K个索引。然而,Elasticsearch在921指数之后崩溃,显然并不是为了应对这种负载而设计的。

基准设置

硬件
数据源
RediSearch配置
Elasticsearch配置
版本
Name Value
RediSearch Version 1.4.3
Elasticsearch Version 6.6.0 with Lucene version 7.6.0
RediSearchBenchmark Benchmark code here

总结

我们为以下用例以RediSearch和Elasticsearch为基准:

  • 一个简单的维基百科用例------我们发现RediSearch在索引方面快了58%,在索引数据集上执行两个单词搜索时快了x4。
  • 一个更先进的多租户用例------RediSearch在201秒内创建了5万个索引,而Elasticsearch在创建了921个索引后崩溃。

Elasticsearch是由Elastic.co的伟人创建的一款功能丰富的搜索产品,但在性能方面,它存在固有的架构缺陷,如下表所示:

Component RediSearch Elasticsearch
搜索引擎 基于现代优化数据结构的专用引擎 基于Lucene引擎
编程语言 基于C语言,被极致优化过了 Java
存储技术 在DRAM和持久内存上本地运行 基于磁盘并带有缓存选项
协议 优化的RESP(REdis串行化协议) HTTP

2. Elasticsearch vs. solr

概述

在我们开始比较Elasticsearch和Solr之前,让我们简单定义一下它们是什么。

Elasticsearch是一个基于Apache Lucene的开源RESTful搜索引擎。它旨在处理大量数据,并提供近乎实时的搜索和分析功能。

Solr也是一个开源搜索平台,它也是建立在Lucene之上的。它旨在提供高速文本搜索、可扩展和容错的分布式搜索以及分面搜索功能。

既然我们知道了基本原理,让我们来比较一下这两者。

性能

在选择搜索平台时,最重要的考虑因素之一是性能。Elasticsearch和Solr都提供高速搜索和分析,但Elasticsearch无疑在几乎所有基准比较中都更快。事实上,在某些用例中,Elasticsearch比Solr快50%。Elasticsearch的高级缓存和巧妙的内存使用使其比Solr更具优势。

稳定性

Elasticsearch和Solr都是可扩展的,可以处理大量数据,但Elasticsearch的构建考虑到了可扩展性。Elasticsearch使用开箱即用的分布式架构,这意味着您可以通过添加更多节点来轻松地横向扩展集群。另一方面,Solr需要一些额外的配置来扩展。从这个意义上说,在可伸缩性方面,Elasticsearch显然是赢家。

搜索能力

Elasticsearch和Solr都擅长搜索,但它们对搜索的处理方式不同。Elasticsearch的搜索引擎是为结构化和非结构化搜索而构建的,而Solr更专注于文本搜索。Elasticsearch的DSL(领域特定语言)允许更复杂的查询生成器,而Solr的查询语法可能提供的灵活性较小。Elasticsearch还为搜索大型数据集提供了更好的聚合支持。

易用性

最后,易用性是一个重要的考虑因素。如果你习惯于使用Lucene,Solr将是两者中更容易学习的一个。另一方面,与Solr相比,Elasticsearch的学习曲线更陡。Elasticsearch拥有更全面的API。

结论

那么,你应该选择哪一个呢?和大多数事情一样,这取决于你的具体需求。如果你需要闪电般的搜索、可扩展性,并且有学习新技术的诀窍,Elasticsearch可能是一个更好的选择。如果您对文本搜索更感兴趣,并且已经熟悉Lucene,Solr可能是更好的选择。

参考1
参考2

相关推荐
数据要素X1 小时前
【数据架构10】数字政府架构篇
大数据·运维·数据库·人工智能·架构
ApacheSeaTunnel2 小时前
从日志到告警,带你用好 SeaTunnel 的事件监听能力
大数据·数据集成·seatunnel·技术分享
智海观潮3 小时前
DeepSeek在大数据领域正掀起一场深刻的变革
大数据·ai·deepseek
星月昭铭4 小时前
Spring AI集成Elasticsearch向量检索时filter过滤失效问题排查与解决方案
人工智能·spring boot·spring·elasticsearch·ai
陈煜的博客4 小时前
elasticSearch 增删改查 java api
java·大数据·elasticsearch
Hello.Reader4 小时前
Rust × Elasticsearch官方 `elasticsearch` crate 上手指南
elasticsearch·rust·jenkins
zskj_zhyl5 小时前
让科技之光,温暖银龄岁月——智绅科技“智慧养老进社区”星城国际站温情纪实
大数据·人工智能·科技·生活
不辉放弃5 小时前
Spark的累加器(Accumulator)
大数据·数据库·spark
梦想养猫开书店5 小时前
36、spark-measure 源码修改用于数据质量监控
大数据·分布式·spark
不辉放弃6 小时前
Spark的宽窄依赖
大数据·数据库·pyspark