Apache Drill:一款开源的分布式SQL查询引擎

Apache Drill 是一款开源分布式 SQL 查询和分析引擎,专为半结构化的大数据和云存储进行了优化,能够提供低延迟的交互式数据分析。

Apache Drill 项目主要基于 Java 语言开发,遵循 Apache 2.0 开源协议,代码托管在 GitHub:

https://github.com/apache/drill

功能特性

  • 分布式架构:核心服务 Drillbit 负责接收客户端请求、处理查询并将结果返回给客户端。一个 Drill 集群可以由多个 Drillbit 节点组成,它们通过 ZooKeeper 来协调集群成员管理和健康检查。
  • 高性能:Drill 基于分布式执行引擎,同时采用列式执行、矢量化、运行时编译以及乐观和管道执行模型等优化技术实现了大数据集的高效实时查询。
  • 支持 SQL 标准:Drill 支持 ANSI SQL 语法,降低了学习成本。
  • 动态模式发现:Drill 在处理数据时可以利用自描述的半结构化/嵌套数据格式(例如 Parquet、JSON、AVRO 等)中内含的信息,在读取数据的同时动态理解其结构,无需依赖中央元数据库。
  • 多源联合查询:Drill 通过可配置的存储插件来连接各种数据源,包括关系型数据库(PostgreSQL、MySQL、Oracle、SQL Server, Apache Derby、H2 等)、Hadoop、HBase、Hive、MongoDB、Kafka、Google Sheets、ElasticSearch、云存储(例如 Amazon S3)及本地文件系统等。同时允许在单个查询中关联来自不同数据源的数据。
  • 工具集成:Drill 通过JDBC/ODBC 驱动为业务人员、分析师等提供了各种 BI 分析工具集成,例如 Tableau、SAS、Excel 等。开发人员也可以利用 REST API 在应用程序中集成 Drill 功能。
  • 部署模式:Drill 支持嵌入模式(单机)和分布式部署模式,满足不同应用场景需求。

下载安装

Apache Drill 提供了多种部署方式,使用 Docker 进行部署体验的命令如下:

复制代码
docker run -it --name drill \
	-p 8047:8047 \		# web and REST
	-p 31010:31010 \	# JDBC
	apache/drill

执行成功之后会自动显示 SQLLine 命令行工具:

复制代码
Apache Drill 1.22.0
"Data is the new oil. Ready to Drill some?"
apache drill> 

直接输入查询语句:

sql 复制代码
apache drill> SELECT version FROM sys.version;
+---------+
| version |
+---------+
| 1.22.0  |
+---------+
1 row selected (1.191 seconds)

或者也可以通过以下地址访问 Web UI:

http://localhost:8047/

官方文档:

https://drill.apache.org/docs/getting-started/

总结

Apache Drill 是一个功能强大且灵活的 SQL 查询引擎,特别适合处理半结构化数据和多数据源联合查询。

相关推荐
龙腾AI白云44 分钟前
数字孪生与计算机视觉:让机器看懂现场
大数据·数据库·机器学习·知识图谱·pygame
Star(up up up)3 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
starzy19903 小时前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
Decay__12 小时前
PostgreSQL 数据库全栈运维实战系列 — 合集索引(24 篇)
运维·数据库·sql·mysql·架构
武昌库里写JAVA12 小时前
SpringBoot+Vue 项目介绍
java·javascript·git·sql·ai
大大大大晴天13 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
ZhengEnCi17 小时前
覆盖索引怎么设计:从回表代价到 MySQL 与 PostgreSQL 的落地写法
sql·mysql·postgresql
数字新视界18 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天18 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城20 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes