Databend 开源周报第 152 期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend。

支持内置 UDFs

Databend 现在已经支持在配置文件中预定义 UDFs 的能力,允许在部署时预先内置部分实用的 UDFs。

示例如下:

[[query.udfs]]
name = "ping"
definition = "CREATE FUNCTION ping(STRING) RETURNS STRING LANGUAGE python HANDLER = 'ping' ADDRESS = 'http://0.0.0.0:8815'"

如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。

Beyond the Code

一起来探索 Databend 社区和周边生态中的新鲜事。

使用 bend-ingest-kafka 实时导入数据

bend-ingest-kafka 是一个专为 Databend 设计的实时数据导入工具,它允许用户从 Apache Kafka 直接将数据流导入到 Databend 中,实现数据的实时分析和处理。这一工具相比 Kafka Connector 更加轻量、简单和可靠。

bend-ingest-kafka
  --kafka-bootstrap-servers="127.0.0.1:9092,127.0.0.2:9092"\
  --kafka-topic="Your Topic"\
  --kafka-consumer-group= "Consumer Group"\
  --databend-dsn="http://root:root@127.0.0.1:8000"\
  --databend-table="db1.tbl" \
  --data-format="json" \
  --batch-size=100000 \
  --batch-max-interval=300

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 支持基于败者树的排序算法。
  • 支持利用 admin API 实时查询 profile 信息。
  • 为 UDF 支持租户和查询 ID ,方便进一步追踪错误。
  • 实现 HAVERSINE、ST_LENGTH 和 ST_DISTANCE 等函数。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

改进优化器直方图

优化器通常使用直方图来估计列的数据分布,从而做出更优的查询计划。然而,假如数据分布假设不准确,可能会导致次优的查询执行计划。

目前 Databend 优化器的直方图假设数据是均匀分布的,但对于很多数据集而言,其数据分布可能并不均匀,这会导致优化器生成错误的连接顺序。

Issue #15963 | Improve optimizer histogram

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review。或者,你可以点击 Feature: allow user to query on spilled storage size on system.query_log table · Issue #15269 · datafuselabs/databend · GitHub 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:Releases · datafuselabs/databend · GitHub

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

相关推荐
贝克街的天才35 分钟前
据说在代码里拼接查询条件不够优雅?Magic-1.0.2 发布
java·后端·开源
Moment1 小时前
毕业半年,终于拥有了两个近 500 star 的开源项目了 🤭🤭🤭
前端·后端·开源
说私域3 小时前
精准零售驱动下的中国零售业变革与“开源 2+1 链动小程序”应用探究
人工智能·小程序·开源
Baihai IDP4 小时前
从 Llama 1 到 3.1:Llama 模型架构演进详解
人工智能·ai·开源·llm·llama
Sunrisepeak6 小时前
xlings: 跨平台一键安装功能设计与思考 - 多编程环境搭建、工具软件安装、项目依赖管理
程序员·开源·github
FreeIPCC17 小时前
电话机器人是什么?
大数据·人工智能·语言模型·机器人·开源·信息与通信
yunmoon0117 小时前
一个开源轻量级的服务器资源监控平台,支持告警推送
开源
我想探知宇宙17 小时前
L1G1000 书生大模型全链路开源开放体系笔记
笔记·开源
顽疲1 天前
springboot vue 开源 会员收银系统 (10) 销单 销单后会员卡余额及库存优化
vue.js·spring boot·开源
FreeIPCC1 天前
如何评估电话机器人的效果?
大数据·人工智能·语言模型·机器人·开源·信息与通信