Apache Drill:一款开源的分布式SQL查询引擎

Apache Drill 是一款开源分布式 SQL 查询和分析引擎,专为半结构化的大数据和云存储进行了优化,能够提供低延迟的交互式数据分析。

Apache Drill 项目主要基于 Java 语言开发,遵循 Apache 2.0 开源协议,代码托管在 GitHub:

https://github.com/apache/drill

功能特性

  • 分布式架构:核心服务 Drillbit 负责接收客户端请求、处理查询并将结果返回给客户端。一个 Drill 集群可以由多个 Drillbit 节点组成,它们通过 ZooKeeper 来协调集群成员管理和健康检查。
  • 高性能:Drill 基于分布式执行引擎,同时采用列式执行、矢量化、运行时编译以及乐观和管道执行模型等优化技术实现了大数据集的高效实时查询。
  • 支持 SQL 标准:Drill 支持 ANSI SQL 语法,降低了学习成本。
  • 动态模式发现:Drill 在处理数据时可以利用自描述的半结构化/嵌套数据格式(例如 Parquet、JSON、AVRO 等)中内含的信息,在读取数据的同时动态理解其结构,无需依赖中央元数据库。
  • 多源联合查询:Drill 通过可配置的存储插件来连接各种数据源,包括关系型数据库(PostgreSQL、MySQL、Oracle、SQL Server, Apache Derby、H2 等)、Hadoop、HBase、Hive、MongoDB、Kafka、Google Sheets、ElasticSearch、云存储(例如 Amazon S3)及本地文件系统等。同时允许在单个查询中关联来自不同数据源的数据。
  • 工具集成:Drill 通过JDBC/ODBC 驱动为业务人员、分析师等提供了各种 BI 分析工具集成,例如 Tableau、SAS、Excel 等。开发人员也可以利用 REST API 在应用程序中集成 Drill 功能。
  • 部署模式:Drill 支持嵌入模式(单机)和分布式部署模式,满足不同应用场景需求。

下载安装

Apache Drill 提供了多种部署方式,使用 Docker 进行部署体验的命令如下:

复制代码
docker run -it --name drill \
	-p 8047:8047 \		# web and REST
	-p 31010:31010 \	# JDBC
	apache/drill

执行成功之后会自动显示 SQLLine 命令行工具:

复制代码
Apache Drill 1.22.0
"Data is the new oil. Ready to Drill some?"
apache drill> 

直接输入查询语句:

sql 复制代码
apache drill> SELECT version FROM sys.version;
+---------+
| version |
+---------+
| 1.22.0  |
+---------+
1 row selected (1.191 seconds)

或者也可以通过以下地址访问 Web UI:

http://localhost:8047/

官方文档:

https://drill.apache.org/docs/getting-started/

总结

Apache Drill 是一个功能强大且灵活的 SQL 查询引擎,特别适合处理半结构化数据和多数据源联合查询。

相关推荐
移动云开发者联盟8 小时前
西部首个!移动云(西部)Token中心正式发布
大数据·人工智能
zhangfeng11339 小时前
CANN 社区任务提交 PR 踩坑与修复全记录(GitCode 平台)
大数据·elasticsearch·gitcode
Huazhongzhanhui9 小时前
2026武汉国际汽车线束及连接器工业展览会智能线束新地标
大数据·人工智能
万维易源9 小时前
油价行情数据接口整理:国际原油与国内成品油
大数据·数据库·原油·油价
TDengine (老段)10 小时前
TDengine 如何支撑金隅集团水泥业务的能源精细化管控
大数据·数据库·物联网·能源·时序数据库·tdengine·涛思数据
Leo.yuan10 小时前
FineDataLink 5.0 vs Great Expectations:数据质量治理工具深度横评,国产低代码方案能否替代开源标杆?
大数据·人工智能
新闻码图10 小时前
国产化替代过程中用什么产品能统计国产设备占比?国内主流厂商
大数据
cd_9492172110 小时前
让市场“随时买得到、卖得掉” 深澜量化探索流动性服务专业化
大数据·区块链
夏之小星星10 小时前
【找回mysql被删除数据】
数据库·sql·mysql
whcyhhh10 小时前
头歌实践教学平台:数据科学与大数据技术导论(五)
大数据·数据库·python