Apache Drill:一款开源的分布式SQL查询引擎

Apache Drill 是一款开源分布式 SQL 查询和分析引擎,专为半结构化的大数据和云存储进行了优化,能够提供低延迟的交互式数据分析。

Apache Drill 项目主要基于 Java 语言开发,遵循 Apache 2.0 开源协议,代码托管在 GitHub:

https://github.com/apache/drill

功能特性

  • 分布式架构:核心服务 Drillbit 负责接收客户端请求、处理查询并将结果返回给客户端。一个 Drill 集群可以由多个 Drillbit 节点组成,它们通过 ZooKeeper 来协调集群成员管理和健康检查。
  • 高性能:Drill 基于分布式执行引擎,同时采用列式执行、矢量化、运行时编译以及乐观和管道执行模型等优化技术实现了大数据集的高效实时查询。
  • 支持 SQL 标准:Drill 支持 ANSI SQL 语法,降低了学习成本。
  • 动态模式发现:Drill 在处理数据时可以利用自描述的半结构化/嵌套数据格式(例如 Parquet、JSON、AVRO 等)中内含的信息,在读取数据的同时动态理解其结构,无需依赖中央元数据库。
  • 多源联合查询:Drill 通过可配置的存储插件来连接各种数据源,包括关系型数据库(PostgreSQL、MySQL、Oracle、SQL Server, Apache Derby、H2 等)、Hadoop、HBase、Hive、MongoDB、Kafka、Google Sheets、ElasticSearch、云存储(例如 Amazon S3)及本地文件系统等。同时允许在单个查询中关联来自不同数据源的数据。
  • 工具集成:Drill 通过JDBC/ODBC 驱动为业务人员、分析师等提供了各种 BI 分析工具集成,例如 Tableau、SAS、Excel 等。开发人员也可以利用 REST API 在应用程序中集成 Drill 功能。
  • 部署模式:Drill 支持嵌入模式(单机)和分布式部署模式,满足不同应用场景需求。

下载安装

Apache Drill 提供了多种部署方式,使用 Docker 进行部署体验的命令如下:

复制代码
docker run -it --name drill \
	-p 8047:8047 \		# web and REST
	-p 31010:31010 \	# JDBC
	apache/drill

执行成功之后会自动显示 SQLLine 命令行工具:

复制代码
Apache Drill 1.22.0
"Data is the new oil. Ready to Drill some?"
apache drill> 

直接输入查询语句:

sql 复制代码
apache drill> SELECT version FROM sys.version;
+---------+
| version |
+---------+
| 1.22.0  |
+---------+
1 row selected (1.191 seconds)

或者也可以通过以下地址访问 Web UI:

http://localhost:8047/

官方文档:

https://drill.apache.org/docs/getting-started/

总结

Apache Drill 是一个功能强大且灵活的 SQL 查询引擎,特别适合处理半结构化数据和多数据源联合查询。

相关推荐
维基框架10 分钟前
OpenAI GPT-6.1 Terra发布AI开始真正操作电脑,使用成本也降了
大数据·人工智能·gpt
小冯不疯20 分钟前
查询旺店通货品策略实战教程:从源系统拉取到轻易云的端到端落地
java·大数据·数据库
海宇服务23 分钟前
零信任架构实战:基于海宇个人大数据报告构建自动化汽车融资租赁资信核验网关
大数据·人工智能·架构·自动化
花间相见24 分钟前
【计算基础|MySQL18】Buffer Pool 与内存管理
后端·sql·mysql
zhongben123_41 分钟前
从零开发一个打车APP:技术选型、系统架构与成本评估指南
大数据·运维·ios·系统架构·uni-app·web app
FII工业富联科技服务1 小时前
服务器开始按柜交付 数据中心需要具备怎样的承接能力
大数据·运维·服务器·人工智能·自动化·制造
等一个人的@1 小时前
数睿通2.0更新:新增高质量数据集模块,UI全面调整优化
大数据·人工智能
TDengine (老段)2 小时前
TDengine IDMP 十大亮点功能(一)
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
2601_970703832 小时前
中国除湿机与湿度控制行业研究报告
java·大数据·人工智能