Databend 开源周报第 118 期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

MERGE INTO 现已支持分布式执行

MERGE INTO 语句会根据指定的条件和匹配标准,使用来自指定源的数据,在目标表中执行对行的插入、更新或删除操作。

现在 Databend 中的 MERGE INTO 已经支持分布式执行,这将会带来更高效的数据集成能力,其物理计划如下图所示:

如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

使用 LakeFS 将数据版本化嵌入你的分析工作流

lakeFS 致力于为共享和协作处理数据提供解决方案,用类似 Git 的操作逻辑赋能对象存储,采用版本化方案为数据提供逻辑一致的视图,为现代化数据工作流嵌入有意义的分支名和提交信息,并且为数据、文档的一体化提供解决方案。

Databend 在提供分布式、弹性可拓展、运维方便的高性能查询引擎,同样支持类似Git的多版本存储,可以轻松查询、克隆和还原任意时间点的数据。

结合 LakeFS 的数据版本化能力和 Databend 的类 Git 数据管理能力,可以确保数据完备性,并且为数据分析工作流提供高效、高可用的一致视图。

如果您想了解更多信息,请查看下面列出的资源。

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 支持 JSON 运算符:??|?&
  • 支持对 STAGE 和 UDF 的权限管理。
  • 支持 flatten 表函数。
  • 支持使用 URL 创建外部表:CREATE STAGE test_stage [URL =] 's3://load/files/'
  • 阅读文档 Example 2: Attaching Table in READ_ONLY Mode 了解如何使用 ATTACH TABLE 的只读模式。
  • 阅读文档 Conversion Functions 了解 Databend 中的类型转换函数与规则。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

支持读取 Delta 表格式

Databend 目前支持通过 Catalog 挂载并读取 Iceberg 表格式中的数据,计划支持的下一个目标是 Delta Lake 。

Delta Lake 是由 Databricks 发起并开源的存储格式。它通过基于文件的事务日志扩展了 Parquet 数据文件,使其能够处理 ACID 事务和可扩展的元数据。 Delta Lake 完全兼容 Apache Spark API,并且其设计与结构化流式处理紧密集成,使您可以轻松地在批处理和流式处理操作中使用单个数据副本,并提供大规模增量处理。

Issue #13429 | add read only support for Delta table

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 link.databend.rs/i-m-feeling... 来挑选一个随机问题,祝好运!

New Contributors

一起认识社区中的新伙伴,Databend 因你们而变得更加美好。

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:github.com/datafuselab...

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

相关推荐
时差9531 小时前
【面试题】Hive 查询:如何查找用户连续三天登录的记录
大数据·数据库·hive·sql·面试·database
让学习成为一种生活方式1 小时前
R包下载太慢安装中止的解决策略-R语言003
java·数据库·r语言
秋意钟2 小时前
MySQL日期类型选择建议
数据库·mysql
Dxy12393102162 小时前
python下载pdf
数据库·python·pdf
桀桀桀桀桀桀3 小时前
数据库中的用户管理和权限管理
数据库·mysql
superman超哥4 小时前
04 深入 Oracle 并发世界:MVCC、锁、闩锁、事务隔离与并发性能优化的探索
数据库·oracle·性能优化·dba
用户8007165452004 小时前
HTAP数据库国产化改造技术可行性方案分析
数据库
engchina5 小时前
Neo4j 和 Python 初学者指南:如何使用可选关系匹配优化 Cypher 查询
数据库·python·neo4j
engchina5 小时前
使用 Cypher 查询语言在 Neo4j 中查找最短路径
数据库·neo4j
尘浮生5 小时前
Java项目实战II基于Spring Boot的光影视频平台(开发文档+数据库+源码)
java·开发语言·数据库·spring boot·后端·maven·intellij-idea