Databend 开源周报第 128 期

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:app.databend.cn

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

使用 Databend 查询位于 HuggingFace 文件系统上的数据

HuggingFace 是目前最火热的 AI 社区。Databend 现已支持直接查询和分析存储在 HuggingFace 文件系统中的海量数据和模型,帮助您释放数据潜能。

URI格式:hf://{repo_id}/path/to/file,其中repo_id 类似 fka/awesome-chatgpt-prompts

支持的配置包括:

  • repo_type: HuggingFace 仓库类型,默认为 dataset,可用选项有 dataset, model
  • revision: HuggingFace 修订版本,默认为 main。可以是仓库中的分支、标签或提交。
  • token: HuggingFace 的 API 令牌。

下面示例使用 Databend 查询 fka/awesome-chatgpt-prompts ,列出其中 CSV 文件第一列的 5 条数据。

如果您想了解更多信息,欢迎联系 Databend 团队,或查看下面列出的资源。

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

了解 Databend 与 MySQL,Oracle 之间的类型对照

Databend MySQL Oracle
TINYINT TINYINT NUMBER(3,0)
SMALLINT SMALLINT NUMBER(5,0)
INT INT NUMBER(10,0)
BIGINT BIGINT NUMBER(19,0)
FLOAT FLOAT FLOAT
DOUBLE DOUBLE FLOAT(24)
DECIMAL DECIMAL FLOAT(24)
DATE DATE DATE
TIMESTAMP TIMESTAMP NUMBER
DATETIME DATETIME DATE
YEAR INT NUMBER
VARCHAR VARCHAR VARCHAR2
VARCHAR CHAR CHAR
VARBINARY VARBINARY RAW, BLOB
VARCHAR VARCHAR VARCHAR2
VARCHAR VARCHAR RAW, CBLOB
VARBINARY VARBINARY RAW, BLOB
VARCHAR VARCHAR RAW, CBLOB
VARCHAR VARCHAR VARCHAR2
VARCHAR VARCHAR VARCHAR2
ARRAY N/A N/A
BOOLEAN N/A N/A
TUPLE N/A N/A
MAP N/A N/A
JSON, VARIANT JSON JSON
BITMAP N/A N/A

Highlights

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 新增 Binary 数据类型,并且支持 String 和 Binary 之间的转换。
  • 支持自适应的 filter reorder 。
  • 支持 JSON 处理函数 concat
  • 支持自动刷新 ReadOnlyAttach 的表模式。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

支持任务建议系统表

Databend 计划支持 task_advice 系统表,为日常运维提供有效洞见,帮助数据库运维人员更轻松自如地管理数据。

catalog_name database_name table_name task_type need_run task_sql reason(variant)
default db xx COMPACT 1 optimize table xx compact limit 3 "{status in json}"
default db xx AGGREGATING_INDEX 0 refresh aggregating index xx_agg_idx limit 10 "{status in json}"
default db yy ADD_CLUSTER_KEY 1 alter table yy cluster by(col1) "{status in json}"

Issue #14323 | feat: task_advice system table

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 link.databend.rs/i-m-feeling... 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:github.com/datafuselab...

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

相关推荐
qq_246839751 小时前
postgresql xxhash64 哈希函数实现
数据库·postgresql·哈希算法
希望奇迹很安静1 小时前
等级保护测评
网络·数据库
会博通·代码搬运工1 小时前
疾控档案落地难点:异构业务系统并存,高价值纸质凭证如何回流业务闭环
数据库·档案管理·档案管理系统·智能扫描设备·会博通
数智启示录1 小时前
Apache Kafka Consumer 扩到 40 个仍不提速:Partition 上限锁死有效并行度 【Kafka合集】
数据库·经验分享·分布式·缓存·面试·kafka·apache
数智启示录2 小时前
Apache Kafka 幂等 Producer 的边界:Exactly-Once 到了 MySQL 为什么失效 【Kafka合集】
数据库·经验分享·分布式·mysql·面试·kafka·apache
Java小白笔记2 小时前
Java 实现阿里云 OSS 文件上传链路:普通上传、秒传、分片与断点续传
java·开发语言·数据库·spring·阿里云
—Miss. Z—2 小时前
计算机三级数据库技术—填空题
数据库·mysql
数智启示录2 小时前
Apache Kafka 同 Key 仍会乱序:从分区 Offset 到业务可见的四道边界 【Kafka 合集】
大数据·数据库·经验分享·分布式·面试·kafka·apache
烬羽2 小时前
给 Agent 一个检索式记忆:把对话历史存进 Milvus,该记的都记得
javascript·数据库·agent
星云API技术支持2 小时前
企业微信二次开发外部群:群聊数据与联系人信息如何建立关联
数据库·php·企业微信