Databend 开源周报第 148 期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

支持 ORC 文件加载

ORC(Optimized Row Columnar)格式是一种高效的列存储格式,广泛应用于数据分析领域。

Databend 现已支持对 ORC 文件进行查询、加载和转换,帮助用户获得更快的查询性能和更高的压缩率。

下面的示例展示了如何查询位于 Stage 中的 ORC 格式文件:

sql 复制代码
-- Create a ORC file format
CREATE OR REPLACE FILE FORMAT orc_ff TYPE = 'ORC';


SELECT * 
FROM @orc_data_stage (
    FILE_FORMAT => 'orc_ff', 
    PATTERN => '.*[.]orc'
) t 
LIMIT 10;

如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。

Beyond the Code

一起来探索 Databend 社区和周边生态中的新鲜事。

Toco 使用 Databend Cloud 应对大数据挑战

随着 Toco 业务在欧洲的扩展,面临的数据处理需求急剧增加。Toco 希望数据库解决方案能够访问 S3 Buckets 处理数据文件,并具备计算与存储分离架构,以提供灵活和可靠的数据分析方案。

Databend Cloud 以其卓越的计算与存储分离架构和全面的对象存储服务支持(超过 20 种)被 Toco 选中。此外,Databend Cloud 的 STAGE 支持使得用户可以轻松地加载和导出数据,进行查询,无需复杂的表创建或数据导入过程。

目前 Databend Cloud 为 Toco 提供从数据获取与处理到数据访问与展示的全面支持。

如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。

Blog | Customer Success Story: Toco Chooses Databend Cloud to Tackle Big Data Challenges

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 支持 task_history 函数。
  • 为 show indexes 增加倒排索引相关信息。
  • 新增 databend-metaverifier 实用程序。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

RFC:使用 error-stack 增强错误处理

当前流行的错误处理主要是通过枚举类型树和 From trait 实现,这导致难以追踪源自同一错误源的不同错误,缺乏错误跟踪信息,并且错误类型通常局限于单个 crate 的层面。

我们计划用 error-stack 替换现有的错误处理实践。这个 crate 能够详细追踪错误所有细节,并且能够在多线程或异步环境中跟踪错误,无需 async-backtrace

下面是 error-stack 的错误消息示例:

vbnet 复制代码
Error: a fatal error has occurred in the main loop
├╴at src/main.rs:11:51
│
├─▶ failed to read index file: index.txt
│   ╰╴at src/main.rs:29:35
│
╰─▶ No such file or directory (os error 2)
    ╰╴at src/main.rs:29:3

Issue #15741 | RFC: Enhancing Error Handling in Rust with error-stack

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 link.databend.rs/i-m-feeling... 来挑选一个随机问题,祝好运!

New Contributors

一起认识社区中的新伙伴,Databend 因你们而变得更加美好。

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:github.com/datafuselab...

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

相关推荐
heartbeat..3 小时前
Spring AOP 全面详解(通俗易懂 + 核心知识点 + 完整案例)
java·数据库·spring·aop
麦聪聊数据5 小时前
MySQL并发与锁:从“防止超卖”到排查“死锁”
数据库·sql·mysql
AC赳赳老秦6 小时前
DeepSeek 私有化部署避坑指南:敏感数据本地化处理与合规性检测详解
大数据·开发语言·数据库·人工智能·自动化·php·deepseek
YMatrix 官方技术社区6 小时前
YMatrix 存储引擎解密:MARS3 存储引擎如何超越传统行存、列存实现“时序+分析“场景性能大幅提升?
开发语言·数据库·时序数据库·数据库架构·智慧工厂·存储引擎·ymatrix
辞砚技术录7 小时前
MySQL面试题——索引2nd
数据库·mysql·面试
linweidong7 小时前
C++thread pool(线程池)设计应关注哪些扩展性问题?
java·数据库·c++
欧亚学术8 小时前
突发!刚刚新增17本期刊被剔除!
数据库·论文·sci·期刊·博士·scopus·发表
黑白极客9 小时前
怎么给字符串字段加索引?日志系统 一条更新语句是怎么执行的
java·数据库·sql·mysql·引擎
大厂技术总监下海9 小时前
数据湖加速、实时数仓、统一查询层:Apache Doris 如何成为现代数据架构的“高性能中枢”?
大数据·数据库·算法·apache
LeenixP9 小时前
RK3576-Debian12删除userdata分区
linux·运维·服务器·数据库·debian·开发板