awesome-duckdb | 🦆 A curated list of awesome DuckDB resources
awesome-duckdb
很棒的 DuckDB
精选的 DuckDB 库、工具和资源列表。
DuckDB是一个分析型进程内 SQL 数据库管理系统。
DuckDB 1.0.0 于 2024-06-03 发布：请参阅公告博客文章。
与此页面聊天
您可以在HuggingChat上与此页面的内容聊天。
内容
- 与此页面聊天
- 资源
- 客户端 API
- 由 DuckDB 提供支持的工具
- 由 DuckDB 提供支持的库
- 支持 DuckDB 的 SQL 客户端和 IDE
- 由 DuckDB 支持的项目
- 集成
- 扩展
- 媒体
- 贡献
资源
- 官方文档- 官方 DuckDB 文档。
- 官方博客- 官方 DuckDB 博客。
- DuckDB 客户端- DuckDB 的客户端 API。
- DuckDB 文档 PDF - DuckDB 文档作为单个 PDF 文件。
- docker-duckdb -DuckDB CLI 的 Docker 映像。
- DuckDB 设置- 在 CI 中安装 DuckDB 的 GitHub Action。
- S3 上的无服务器 DuckDB - 使用 lambda 在 S3 上的数据湖上运行 DuckDB。
- DuckDB 片段- MotherDuck 精选的片段集合.
- DuckDB tldr 页面- DuckDB 在tldr 页面中的条目，可通过命令在 CLI 中使用
tldr duckdb。 - DuckDB AWS Lambda 层- 在 AWS Lambda 函数中运行 DuckDB。
- 与 AWS Lambda 兼容的 DuckDB 扩展- 专为 AWS Lambda 运行时 (GLIBC 2.26) 编译的扩展。
- 无服务器 DuckDB 作为 API - 将 DuckDB 作为 API 与 Amazon API Gateway 和 AWS Lambda 一起使用。
- 无服务器 Parquet 重新分区程序- 使用 DuckDB 在基于 S3 的数据湖中重新分区数据。
- 可观察的笔记本- 在可观察的数据可视化平台上使用 DuckDB 的笔记本。
- duckdb-nf - DuckDB 与 Nextflow 结合使用的示例。
- DuckDB 版本管理器（duckman） -- DuckDB 的跨平台安装程序和版本管理器。
客户端 API
由 DuckDB 提供支持的工具
- Rill Developer - 使用 SQL 轻松将数据集转换为强大、有主见的仪表板的工具。
- Ibis 项目- 用于与 DuckDB（和其他计算引擎）交互的 DataFrame API。
- MotherDuck - 由 DuckDB 提供支持的无服务器数据仓库。
- Boiling Data - 位于 S3 数据湖之上的无服务器数据分析覆盖。
- Hex Dataframe SQL -Hex 的 Dataframe SQL 单元由 DuckDB 提供支持。
- 模式- 模式使用 DuckDB 作为其内存数据引擎。
- VulcanSQL - DuckDB 可用作 VulcanSQL 中的缓存层或数据连接器，VulcanSQL 是一个数据 API 框架，数据人员可以通过编写 SQL 模板来创建 REST API。
- Tad - 由 DuckDB 提供支持的快速、免费、跨平台的表格数据查看器应用程序。
- Honeycomb Maps - 利用 DuckDB Wasm 的基于浏览器的地理空间分析工具。
- Bauplan - 用于数据湖的无服务器数据转换平台。
- Excalichart.com------一个用于探索数据的快速、免费的仪表板。
- Malloy - Malloy 是一种用于描述数据关系和转换的实验性语言。Malloy 连接到 BigQuery 和 Postgres，并原生支持 DuckDB。
- 证据- 使用 SQL 和 markdown 生成报告。DuckDB 连接器允许跨 DuckDB、csv、parquet 和 json 进行查询。
- Latitude - Latitude 使用 DuckDB 来支持数据快照。拖放 CSV 文件并以光速使用 SQL 对其进行查询。
- 人口普查- 人口普查的增量同步数据集差异由 DuckDB 提供支持。
- Huey - 基于 DuckDB WASM，在浏览器中以极快且直观的方式在 .parquet、.csv、.json 文件和 .duckdb 表上显示数据透视表。开源 (MIT)。零安装！
- Parquet Explorer - Visual Studio Code 扩展，用于使用 SQL 探索 Parquet 文件，由 DuckDB 提供支持。
- Iceburst - 用于监控和安全的实时数据湖。
- DQOps-面向数据工程师、数据质量团队和数据操作的数据质量平台。
- DatalakeStudio - 加载、探索、转换您的数据集并通过 API 公开它们。与外部 API、S3、PostgreSQL 和 ChatGPT 集成。
- Spice.ai - 统一的 SQL 查询接口和可移植运行时，用于在本地实现（使用嵌入式 DuckDB）、加速和查询来自任何数据库、数据仓库或数据湖的数据集。
- Definite - 将所有数据集中到一个地方进行分析和仪表板。无需工程或 SQL。在单一平台上获得托管数据仓库 (DuckDB)、ELT、数据建模/转换和 BI。
- Amphi ETL - 用于结构化和非结构化数据的低代码数据管道。SQL 转换由 DuckDB 提供支持。
Web 客户端
- 在线 DuckDB Shell - 由 WebAssembly 提供支持的在线 DuckDB shell。
- SQL Workbench - 基于 DuckDB-WASM 的 SQL Workbench，用于在本地或远程数据上运行查询，能够将数据显示为表格或以图形形式直观地显示，并通过 URL 共享查询。
- Sekuel Playground - 查询本地 parquet、csv、json。您的数据不会从您正在使用的设备发送出去。
- CSVFiddle - 使用 SQL 探索和分享 CSV 文件中见解的免费工具。导入数据、编写 SQL，然后立即与任何人共享。
- Codapi - 将可执行代码片段直接嵌入到您的产品文档、在线课程或博客文章中。
- QuackDB - 开源在线 DuckDB SQL 游乐场和编辑器。
- WhatTheDuck - WhatTheDuck 是一款基于 DuckDB 构建的开源 Web 应用程序。它允许用户上传 CSV 文件、将其存储在表中并对数据执行 SQL 查询。
由 DuckDB 提供支持的库
- Mosaic - 用于链接数据库和交互式视图的可扩展框架。
- Fugue - 分布式计算的统一接口。Fugue 无需重写即可在 Spark、Dask 和 Ray 上执行 SQL、Python、Pandas 和 Polars 代码。
- Splink - 一个免费的 Python 库，用于快速、准确地进行数据重复数据删除和记录链接。
- Simple-data-analysis - 用于数据分析的易于使用且高性能的 JavaScript 库。
- duckdb_fdw -PostgreSQL 的 DuckDB 外部数据包装器。
- @jetblack/duckdb-react ------React 和 duckdb-wasm 的上下文管理器。
- QuackOSM------一个用于下载原始 OpenStreetMap 数据并将其转换为 GeoParquet 文件的 Python 库。
- PyGWalker - 一个 Pyhon 库，可将您的数据框转换为用于数据可视化的交互式 UI。
支持 DuckDB 的 SQL 客户端和 IDE
- Harlequin------适用于您的终端的 DuckDB IDE。（GitHub）。
- qStudio - 一款专为数据分析师设计的免费 SQL 工具。它可运行于所有操作系统，并可轻松浏览表格和绘制结果图表。
- DuckDB SQL 工具- 适用于 VS Code IDE 的免费 DuckDB SQL 工具。高级版本具有高级功能。
- VSCode SQLTools（免费） ------免费的开源 VSCode 扩展，可使用最新的 DuckDB 支持来查询和探索您的 DuckDB 数据库。
- DBeaver - DBeaver 是一个通用的数据库访问和开发工具，可用于连接几乎任何类型的数据库。
- DataGrip - Jetbrains 的付费 SQL IDE，支持许多不同的数据库技术，包括 DuckDB。
- Duckling - 基于 Tauri 的 CSV/Parquet 文件和 DuckDB/SQLite 的快速查看器。
- rsql -DuckDB、LibSQL、MariaDB、MySQL、PostgreSQL、SQLite3 和 SQL Server 的 CLI。
- jsqltranspiler - 将 BigQuery、Redshift、Snowflake 和 Databricks 查询重写为 DuckDB 兼容的 SQL。
- jOOQ - 使用 Java 对 DuckDB（以及许多其他 RDBMS）进行类型安全查询。还提供从 DuckDB 到 DuckDB 的转换器。
由 DuckDB 支持的项目
- NBA 蒙特卡洛- 利用 Meltano、dbt、DuckDB 和 Evidence 对 NBA 赛季进行蒙特卡洛模拟。
- Datadex - 使用 DuckDB、Dagster、dbt 和 Quarto 在开放数据上进行协作的开源和本地友好数据平台。
- endoflife.date数据库- endoflife.date 数据的每日转储。
- transfermarkt-datasets- 来自Transfermarkt的精选足球数据集。
- nodbi -R 的 NoSQL 数据库连接器，提供跨 Elasticsearch、CouchDB、MongoDB、SQLite、PostgreSQL 和 DuckDB 的通用 API。
- duckDB-embedding-search - 使用嵌入向量查找相似文档的 DuckDB 搜索引擎。
集成
- dbt-duckdb - DuckDB dbt 适配器。
- 数据加载工具 - DuckDB 目标- 使用 dlt 从 API 提取数据并将其加载到 DuckDB。
- target-duckdb - 根据 Singer 规范将数据加载到 DuckDB。
- Airbyte DuckDB 目标- 使用 Airbyte 将数据加载到 DuckDB。
- Kestra DuckDB 插件- 使用 DuckDB 运行查询以安排数据转换和流程自动化，并运行事件驱动的异常检测管道。
- Arrow Flight SQL Server ------Arrow Flight SQL 协议的示例实现，在以 DuckDB 或 SQLite 作为后端的客户端-服务器设置中运行。
- SQLFlow - 支持基于 SQL 的流处理，由 DuckDB 提供支持。
- nf-sqldb------此插件提供与 Nextflow 脚本中的 SQL 数据库交互的支持。
- MindsDB - 从企业数据定制 AI 的平台。MindsDB与 DuckDB 集成，使 DuckDB 中的数据可供各种 AI/ML 模型访问。
- Sqlite2Duckdb - 用于将 SQLite 数据库转换为 DuckDB 的 CLI 工具。
扩展
- 官方扩展- 官方 DuckDB 扩展。
- DuckDB Extension Radar - 包含 GitHub 上的 DuckDB 扩展的存储库。每日更新。
- Lance - 将 Lance（用 Rust 实现的 ML 现代列式数据格式）与 DuckDB 集成.
- Kùzu - 在 Kùzu（一种可嵌入的属性图数据库管理系统）中扫描 DuckDB 表。
- PRQL - 直接在 DuckDB 中运行 PRQL 命令。
- duckdb-engine - DuckDB 的 SQLAlchemy 驱动程序。
- Scrooge-McDuck - DuckDB 扩展支持一组关于财务数据的聚合函数和数据扫描器。
- duckdb-pytables -DuckDB 扩展允许在任意数据源上运行 SQL。
- ODBC 扫描仪 DuckDB 扩展- DuckDB 扩展可直接从支持 ODBC 接口的数据库读取数据。
- duckdb-jfr-extension - DuckDB 扩展直接读取 JFR（Java Flight Recorder）文件。
- QDuckDB - 用于读取 QGIS 软件中的 DuckDB 空间表的插件。
- ERPL - 使用 RFC、ODP 或 BICS 的 DuckDB SAP 连接器。
- duckdb-extension-template-zig - 一个 Zig & Nix 工具包模板，用于使用 Zig、C 或 C++ 针对 DuckDB 的多个版本构建扩展。
- DuckPGQ - 支持 SQL/PGQ 标准的图形工作负载的 DuckDB 扩展.
- h3-duckdb - 增加了对 H3 离散全局网格系统的支持。
媒体
会谈
- DuckCon #4 播放列表
- 鸭子的状态@DuckCon #4 - Hannes Mühleisen 和 Mark Raasveldt。
- 使用 DuckDB 进行进程内分析数据管理@PyData Amsterdam - Hannes Mühleisen。
- DuckDB：Python 流程中数据仓库的强大功能@PyData Yerevan - Gábor Szárnyas。
- DuckDB：将分析 SQL 直接带入您的 Python shell @ EuroPython - Pedro Holanda。
- DuckDB 主题演讲@2023 年数据 + AI 峰会- Hannes Mühleisen。
- 鸭子的状态@DuckCon #3 - Hannes Mühleisen 和 Mark Raasveldt。
- DuckCon #3 播放列表
- DuckDB：将分析 SQL 直接带入您的 Python Shell @ FOSDEM - Pedro Holanda。
- 鸭子的状态@DuckCon #2 - Hannes Mühleisen 和 Mark Raasveldt。
- DuckDB 扩展@DuckCon - Pedro Holanda 和 Sam Ansmink。
- 学术界的发展系统：好的，坏的，以及不那么丑的小鸭@CIDR - Hannes Mühleisen。
- DuckDB 一个可嵌入的分析数据库 @ FOSDEM - Hannes Mühleisen。
- DuckDB 教程播放列表由 Learn Data with Mark - Mark Needham 提供。
- DuckDB 教程播放列表由 MotherDuck - Mehdi Ouazza (MotherDuck) 提供。
- Nextflow 和数据库用途：支持数据工程、探索 DuckDB 及其他-- Edmund Miller。
- 为什么你应该关心 DuckDB？@ 都柏林 DuckDB 聚会- Mihai Bojin。
- 使用 DuckDB 探索蒙特卡罗模拟 @ 都柏林 DuckDB 聚会- James McNeill。
- DuckDB 和推荐者：闪电般的快速协同作用@都柏林 DuckDB 聚会- Khalil Muhammad。
播客
- 开发人员之声：实现硬件友好型数据库- Hannes Mühleisen。
- 极客叙述者：DuckDB 内部结构- Mark Raasveldt。
- 软件工程日报：DuckDB - Hannes Mühleisen。
- 数据工程播客：将数据库移动到数据并使用 DuckDB 加速分析- Hannes Mühleisen。
- 分析工程播客：个人数据仓库- Jordan Tigani。
博客文章
- 盒装现代数据堆栈- 使用 DuckDB、Meltano、dbt 和 Apache Superset 的组合在笔记本电脑上部署快速、免费且开源的现代数据堆栈。
- 如何使用 DuckDB、Motherduck 和 Kestra 进行 ETL - DuckDB 如何转换数据、屏蔽敏感的 PII 信息、检测事件驱动工作流中的异常以及简化报告用例。
- DuckDB 与 MotherDuck --- 它们如何比较- 它们之间的主要区别是什么，以及何时选择每个选项。
- 使用 Zig 和 Nix 构建 DuckDB 扩展- 适用于熟悉 DuckDB 并希望通过自定义扩展来扩展其功能的 Nix 用户和 Zig 开发人员。
- 使用 Airflow、DuckDB 和 Streamlit 探索星际争霸 2 数据- 使用 DuckDB 保存 API 数据的示例项目，同时也解释了如何在数据整理脚本中使用 DuckDB 作为多功能数据操作工具。
- DuckDB：大数据领域的后起之秀
- 如何为表函数制作 DuckDB 扩展？ - 如何制作 DuckDB 扩展以从外部源获取数据。
图书
- DuckDB in Action -DuckDB in Action 将向您展示如何快速使用 DuckDB。