DuckDB 相关开源项目

awesome-duckdb | 🦆 A curated list of awesome DuckDB resources

awesome-duckdb

很棒的 DuckDB

精选的 DuckDB 库、工具和资源列表。

DuckDB是一个分析型进程内 SQL 数据库管理系统。

DuckDB 1.0.0 于 2024-06-03 发布：请参阅公告博客文章。

与此页面聊天

您可以在HuggingChat上与此页面的内容聊天。

内容

• 与此页面聊天
• 资源
• 客户端 API
• 由 DuckDB 提供支持的工具
  • Web 客户端
• 由 DuckDB 提供支持的库
• 支持 DuckDB 的 SQL 客户端和 IDE
• 由 DuckDB 支持的项目
• 集成
• 扩展
• 媒体
  • 会谈
  • 播客
  • 博客文章
  • 图书
• 贡献

资源

• 官方文档- 官方 DuckDB 文档。
  • 官方博客- 官方 DuckDB 博客。
  • DuckDB 客户端- DuckDB 的客户端 API。
  • DuckDB 文档 PDF - DuckDB 文档作为单个 PDF 文件。
• docker-duckdb -DuckDB CLI 的 Docker 映像。
• DuckDB 设置- 在 CI 中安装 DuckDB 的 GitHub Action。
• S3 上的无服务器 DuckDB - 使用 lambda 在 S3 上的数据湖上运行 DuckDB。
• DuckDB 片段- MotherDuck 精选的片段集合.
• DuckDB tldr 页面- DuckDB 在tldr 页面中的条目，可通过命令在 CLI 中使用tldr duckdb。
• DuckDB AWS Lambda 层- 在 AWS Lambda 函数中运行 DuckDB。
• 与 AWS Lambda 兼容的 DuckDB 扩展- 专为 AWS Lambda 运行时 (GLIBC 2.26) 编译的扩展。
• 无服务器 DuckDB 作为 API - 将 DuckDB 作为 API 与 Amazon API Gateway 和 AWS Lambda 一起使用。
• 无服务器 Parquet 重新分区程序- 使用 DuckDB 在基于 S3 的数据湖中重新分区数据。
• 可观察的笔记本- 在可观察的数据可视化平台上使用 DuckDB 的笔记本。
• duckdb-nf - DuckDB 与 Nextflow 结合使用的示例。
• DuckDB 版本管理器（duckman） -- DuckDB 的跨平台安装程序和版本管理器。

客户端 API

• C
• C++
• CLI
• Go
• Julia
• Node.js
• Python
• R
• Ruby
• Rust
• Swift
• TypeScript
• Wasm
• ADBC
• ODBC
• .NET
• Common Lisp

• C
• C++
• 命令行界面
• 去
• 朱莉娅
• Node.js
• Python
• R
• 红宝石
• 锈
• 迅速
• TypeScript
• 瓦斯姆
• 澳大利亚发展银行
• 数据库连接
• 。网
• 通用 Lisp

由 DuckDB 提供支持的工具

• Rill Developer - 使用 SQL 轻松将数据集转换为强大、有主见的仪表板的工具。
• Ibis 项目- 用于与 DuckDB（和其他计算引擎）交互的 DataFrame API。
• MotherDuck - 由 DuckDB 提供支持的无服务器数据仓库。
• Boiling Data - 位于 S3 数据湖之上的无服务器数据分析覆盖。
• Hex Dataframe SQL -Hex 的 Dataframe SQL 单元由 DuckDB 提供支持。
• 模式- 模式使用 DuckDB 作为其内存数据引擎。
• VulcanSQL - DuckDB 可用作 VulcanSQL 中的缓存层或数据连接器，VulcanSQL 是一个数据 API 框架，数据人员可以通过编写 SQL 模板来创建 REST API。
• Tad - 由 DuckDB 提供支持的快速、免费、跨平台的表格数据查看器应用程序。
• Honeycomb Maps - 利用 DuckDB Wasm 的基于浏览器的地理空间分析工具。
• Bauplan - 用于数据湖的无服务器数据转换平台。
• Excalichart.com------一个用于探索数据的快速、免费的仪表板。
• Malloy - Malloy 是一种用于描述数据关系和转换的实验性语言。Malloy 连接到 BigQuery 和 Postgres，并原生支持 DuckDB。
• 证据- 使用 SQL 和 markdown 生成报告。DuckDB 连接器允许跨 DuckDB、csv、parquet 和 json 进行查询。
• Latitude - Latitude 使用 DuckDB 来支持数据快照。拖放 CSV 文件并以光速使用 SQL 对其进行查询。
• 人口普查- 人口普查的增量同步数据集差异由 DuckDB 提供支持。
• Huey - 基于 DuckDB WASM，在浏览器中以极快且直观的方式在 .parquet、.csv、.json 文件和 .duckdb 表上显示数据透视表。开源 (MIT)。零安装！
• Parquet Explorer - Visual Studio Code 扩展，用于使用 SQL 探索 Parquet 文件，由 DuckDB 提供支持。
• Iceburst - 用于监控和安全的实时数据湖。
• DQOps-面向数据工程师、数据质量团队和数据操作的数据质量平台。
• DatalakeStudio - 加载、探索、转换您的数据集并通过 API 公开它们。与外部 API、S3、PostgreSQL 和 ChatGPT 集成。
• Spice.ai - 统一的 SQL 查询接口和可移植运行时，用于在本地实现（使用嵌入式 DuckDB）、加速和查询来自任何数据库、数据仓库或数据湖的数据集。
• Definite - 将所有数据集中到一个地方进行分析和仪表板。无需工程或 SQL。在单一平台上获得托管数据仓库 (DuckDB)、ELT、数据建模/转换和 BI。
• Amphi ETL - 用于结构化和非结构化数据的低代码数据管道。SQL 转换由 DuckDB 提供支持。

Web 客户端

• 在线 DuckDB Shell - 由 WebAssembly 提供支持的在线 DuckDB shell。
• SQL Workbench - 基于 DuckDB-WASM 的 SQL Workbench，用于在本地或远程数据上运行查询，能够将数据显示为表格或以图形形式直观地显示，并通过 URL 共享查询。
• Sekuel Playground - 查询本地 parquet、csv、json。您的数据不会从您正在使用的设备发送出去。
• CSVFiddle - 使用 SQL 探索和分享 CSV 文件中见解的免费工具。导入数据、编写 SQL，然后立即与任何人共享。
• Codapi - 将可执行代码片段直接嵌入到您的产品文档、在线课程或博客文章中。
• QuackDB - 开源在线 DuckDB SQL 游乐场和编辑器。
• WhatTheDuck - WhatTheDuck 是一款基于 DuckDB 构建的开源 Web 应用程序。它允许用户上传 CSV 文件、将其存储在表中并对数据执行 SQL 查询。

由 DuckDB 提供支持的库

• Mosaic - 用于链接数据库和交互式视图的可扩展框架。
• Fugue - 分布式计算的统一接口。Fugue 无需重写即可在 Spark、Dask 和 Ray 上执行 SQL、Python、Pandas 和 Polars 代码。
• Splink - 一个免费的 Python 库，用于快速、准确地进行数据重复数据删除和记录链接。
• Simple-data-analysis - 用于数据分析的易于使用且高性能的 JavaScript 库。
• duckdb_fdw -PostgreSQL 的 DuckDB 外部数据包装器。
• @jetblack/duckdb-react ------React 和 duckdb-wasm 的上下文管理器。
• QuackOSM------一个用于下载原始 OpenStreetMap 数据并将其转换为 GeoParquet 文件的 Python 库。
• PyGWalker - 一个 Pyhon 库，可将您的数据框转换为用于数据可视化的交互式 UI。

支持 DuckDB 的 SQL 客户端和 IDE

• Harlequin------适用于您的终端的 DuckDB IDE。（GitHub）。
• qStudio - 一款专为数据分析师设计的免费 SQL 工具。它可运行于所有操作系统，并可轻松浏览表格和绘制结果图表。
• DuckDB SQL 工具- 适用于 VS Code IDE 的免费 DuckDB SQL 工具。高级版本具有高级功能。
• VSCode SQLTools（免费） ------免费的开源 VSCode 扩展，可使用最新的 DuckDB 支持来查询和探索您的 DuckDB 数据库。
• DBeaver - DBeaver 是一个通用的数据库访问和开发工具，可用于连接几乎任何类型的数据库。
• DataGrip - Jetbrains 的付费 SQL IDE，支持许多不同的数据库技术，包括 DuckDB。
• Duckling - 基于 Tauri 的 CSV/Parquet 文件和 DuckDB/SQLite 的快速查看器。
• rsql -DuckDB、LibSQL、MariaDB、MySQL、PostgreSQL、SQLite3 和 SQL Server 的 CLI。
• jsqltranspiler - 将 BigQuery、Redshift、Snowflake 和 Databricks 查询重写为 DuckDB 兼容的 SQL。
• jOOQ - 使用 Java 对 DuckDB（以及许多其他 RDBMS）进行类型安全查询。还提供从 DuckDB 到 DuckDB 的转换器。

由 DuckDB 支持的项目

• NBA 蒙特卡洛- 利用 Meltano、dbt、DuckDB 和 Evidence 对 NBA 赛季进行蒙特卡洛模拟。
• Datadex - 使用 DuckDB、Dagster、dbt 和 Quarto 在开放数据上进行协作的开源和本地友好数据平台。
• endoflife.date数据库- endoflife.date 数据的每日转储。
• transfermarkt-datasets- 来自Transfermarkt的精选足球数据集。
• nodbi -R 的 NoSQL 数据库连接器，提供跨 Elasticsearch、CouchDB、MongoDB、SQLite、PostgreSQL 和 DuckDB 的通用 API。
• duckDB-embedding-search - 使用嵌入向量查找相似文档的 DuckDB 搜索引擎。

集成

• dbt-duckdb - DuckDB dbt 适配器。
• 数据加载工具 - DuckDB 目标- 使用 dlt 从 API 提取数据并将其加载到 DuckDB。
• target-duckdb - 根据 Singer 规范将数据加载到 DuckDB。
• Airbyte DuckDB 目标- 使用 Airbyte 将数据加载到 DuckDB。
• Kestra DuckDB 插件- 使用 DuckDB 运行查询以安排数据转换和流程自动化，并运行事件驱动的异常检测管道。
• Arrow Flight SQL Server ------Arrow Flight SQL 协议的示例实现，在以 DuckDB 或 SQLite 作为后端的客户端-服务器设置中运行。
• SQLFlow - 支持基于 SQL 的流处理，由 DuckDB 提供支持。
• nf-sqldb------此插件提供与 Nextflow 脚本中的 SQL 数据库交互的支持。
• MindsDB - 从企业数据定制 AI 的平台。MindsDB与 DuckDB 集成，使 DuckDB 中的数据可供各种 AI/ML 模型访问。
• Sqlite2Duckdb - 用于将 SQLite 数据库转换为 DuckDB 的 CLI 工具。

扩展

• 官方扩展- 官方 DuckDB 扩展。
  • arrow- Apache Arrow 和 DuckDB 之间的零拷贝数据集成。
  • aws- 用于处理 AWS 凭证。
  • azure- 用于使用 Azure Blob 存储。
  • delta- 为了支持 Delta Lake。
  • iceberg- 用于阅读冰山表。
  • mysql- 读取和写入 MySQL 数据库。
  • postgres- 读取和写入 PostgreSQL 数据库。
  • spatial- 启用地理空间处理。
  • sqlite- 读取和写入 SQLite 数据库。
  • vss- 增加对向量相似性搜索的支持。
• DuckDB Extension Radar - 包含 GitHub 上的 DuckDB 扩展的存储库。每日更新。
• Lance - 将 Lance（用 Rust 实现的 ML 现代列式数据格式）与 DuckDB 集成.
• Kùzu - 在 Kùzu（一种可嵌入的属性图数据库管理系统）中扫描 DuckDB 表。
• PRQL - 直接在 DuckDB 中运行 PRQL 命令。
• duckdb-engine - DuckDB 的 SQLAlchemy 驱动程序。
• Scrooge-McDuck - DuckDB 扩展支持一组关于财务数据的聚合函数和数据扫描器。
• duckdb-pytables -DuckDB 扩展允许在任意数据源上运行 SQL。
• ODBC 扫描仪 DuckDB 扩展- DuckDB 扩展可直接从支持 ODBC 接口的数据库读取数据。
• duckdb-jfr-extension - DuckDB 扩展直接读取 JFR（Java Flight Recorder）文件。
• QDuckDB - 用于读取 QGIS 软件中的 DuckDB 空间表的插件。
• ERPL - 使用 RFC、ODP 或 BICS 的 DuckDB SAP 连接器。
• duckdb-extension-template-zig - 一个 Zig & Nix 工具包模板，用于使用 Zig、C 或 C++ 针对 DuckDB 的多个版本构建扩展。
• DuckPGQ - 支持 SQL/PGQ 标准的图形工作负载的 DuckDB 扩展.
• h3-duckdb - 增加了对 H3 离散全局网格系统的支持。

媒体

会谈

• DuckCon #4 播放列表
• 鸭子的状态@DuckCon #4 - Hannes Mühleisen 和 Mark Raasveldt。
• 使用 DuckDB 进行进程内分析数据管理@PyData Amsterdam - Hannes Mühleisen。
• DuckDB：Python 流程中数据仓库的强大功能@PyData Yerevan - Gábor Szárnyas。
• DuckDB：将分析 SQL 直接带入您的 Python shell @ EuroPython - Pedro Holanda。
• DuckDB 主题演讲@2023 年数据 + AI 峰会- Hannes Mühleisen。
• 鸭子的状态@DuckCon #3 - Hannes Mühleisen 和 Mark Raasveldt。
• DuckCon #3 播放列表
• DuckDB：将分析 SQL 直接带入您的 Python Shell @ FOSDEM - Pedro Holanda。
• 鸭子的状态@DuckCon #2 - Hannes Mühleisen 和 Mark Raasveldt。
• DuckDB 扩展@DuckCon - Pedro Holanda 和 Sam Ansmink。
• 学术界的发展系统：好的，坏的，以及不那么丑的小鸭@CIDR - Hannes Mühleisen。
• DuckDB 一个可嵌入的分析数据库 @ FOSDEM - Hannes Mühleisen。
• DuckDB 教程播放列表由 Learn Data with Mark - Mark Needham 提供。
• DuckDB 教程播放列表由 MotherDuck - Mehdi Ouazza (MotherDuck) 提供。
• Nextflow 和数据库用途：支持数据工程、探索 DuckDB 及其他-- Edmund Miller。
• 为什么你应该关心 DuckDB？@ 都柏林 DuckDB 聚会- Mihai Bojin。
• 使用 DuckDB 探索蒙特卡罗模拟 @ 都柏林 DuckDB 聚会- James McNeill。
• DuckDB 和推荐者：闪电般的快速协同作用@都柏林 DuckDB 聚会- Khalil Muhammad。

播客

• 开发人员之声：实现硬件友好型数据库- Hannes Mühleisen。
• 极客叙述者：DuckDB 内部结构- Mark Raasveldt。
• 软件工程日报：DuckDB - Hannes Mühleisen。
• 数据工程播客：将数据库移动到数据并使用 DuckDB 加速分析- Hannes Mühleisen。
• 分析工程播客：个人数据仓库- Jordan Tigani。

博客文章

• 盒装现代数据堆栈- 使用 DuckDB、Meltano、dbt 和 Apache Superset 的组合在笔记本电脑上部署快速、免费且开源的现代数据堆栈。
• 如何使用 DuckDB、Motherduck 和 Kestra 进行 ETL - DuckDB 如何转换数据、屏蔽敏感的 PII 信息、检测事件驱动工作流中的异常以及简化报告用例。
• DuckDB 与 MotherDuck --- 它们如何比较- 它们之间的主要区别是什么，以及何时选择每个选项。
• 使用 Zig 和 Nix 构建 DuckDB 扩展- 适用于熟悉 DuckDB 并希望通过自定义扩展来扩展其功能的 Nix 用户和 Zig 开发人员。
• 使用 Airflow、DuckDB 和 Streamlit 探索星际争霸 2 数据- 使用 DuckDB 保存 API 数据的示例项目，同时也解释了如何在数据整理脚本中使用 DuckDB 作为多功能数据操作工具。
• DuckDB：大数据领域的后起之秀
• 如何为表函数制作 DuckDB 扩展？ - 如何制作 DuckDB 扩展以从外部源获取数据。

图书

• DuckDB in Action -DuckDB in Action 将向您展示如何快速使用 DuckDB。

贡献

欢迎贡献！请先阅读贡献指南。
此网站是开源的。改进此页面。