数据仓库

哥本哈士奇2 天前
数据仓库·sqlserver
dbt+SQLServer构建数据仓库(8):Vibe Coding用dbt构建data vault数仓最近 AI 编程很火,“vibe coding"这个词也经常听到——就是你只需要说清楚"我想要什么”,AI 就能帮你把代码写出来。但dbt并不像其它技术那样火热,所以当前的vibe coding是否能很好的支持dbt项目生成呢?我决定拿一个数据仓库项目练手,全程用 vibe coding 的方式完成,看看效率到底怎么样。
自由能燃气设备2 天前
大数据·数据库·数据仓库·人工智能
燃气容积式热水器厂家选购指南:2026年商用热水设备采购避坑手册商用集中热水设备采购时,选对燃气容积式热水器厂家,直接影响项目后期运行稳定性、运维成本与用水体验。市场宣传繁杂多样,采购方很容易落入各类采购陷阱。本文结合实战经验梳理采购避坑思路,以佛山自由能电器有限公司(下称自由能)为例,讲解优质厂商具备的硬性标准。
ha_lydms3 天前
大数据·数据仓库·dataworks·maxcompute·hologres·odps·数据同步
使用DataWorks导入 Maxcompute 数据DataWorks基于Hologres、MaxCompute等大数据计算引擎,为您提供专业高效、安全可靠的一站式大数据开发与治理平台。
ZCBUS实时计算3 天前
大数据·数据库·数据仓库·金融·flink·dba·etl
金融证券实时数仓建设实践:轻量化实时计算平台落地,实现交易数据端到端秒级处理在券商核心交易、行情风控、客户资产分析业务场景中,原有实时数仓架构存在四大核心短板,直接制约业务落地:
爱看报的猿4 天前
数据库·数据仓库·mysql·金仓数据库征文
【金仓数据库征文】MySQL至金仓KES异构数据库平滑迁移与性能深度调优实战信创产业推进的大背景下,国产数据库替换已经从可选变成了很多团队的必选项。身边不少后端开发和运维的朋友聊起金仓这类国产数据库,普遍有三个刻板印象:语法适配麻烦、性能跟不上MySQL、出了问题资料少难排查,真要动手落地又不知道从哪一步开始。
fastjson_4 天前
数据仓库·hive·hadoop
Hive的介绍和使用Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。 在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)
德昂信息dataondemand6 天前
数据仓库·商务智能
数仓ETL避坑指南:如何攻克时序指标中的数据问题在做企业BI数据看板时,管理层最关心的核心指标莫过于同比和累计。一个看增速,一个看进度。在实际开发中,数仓团队经常会遇到两种让人头疼的问题:
哥本哈士奇6 天前
数据仓库·sqlserver
dbt+SQLServer构建数据仓库(3):dbt_project.yml配置精讲本篇我们钻进 dbt_project.yml 这个项目大脑的内部——配置怎么继承、物化怎么选、schema 怎么拼接、改完怎么验证——这些正是本文要补的。读完本文,你应当能独立初始化一个 dbt 项目,理解每一行配置的含义与取舍,并在配置不生效时知道从哪里排查。
哥本哈士奇6 天前
数据仓库·sqlserver
dbt+SQLServer构建数据仓库(4):分层建模实战本文接上篇,从概念走向实操:基于本项目的 5 个模型,讲清楚分层架构的设计原则和每个模型的 SQL 怎么写。
l1t7 天前
开发语言·数据库·数据仓库·sql
kryonix提交的DuckDB 统一并优化标量执行器基础设施 - #24564 PR对话 @kryonix kryonix 评论于 24 分钟前 成员我遇到了 DuckDB 标量执行器基础设施中的一个分裂:一元和二元执行有精心特化的平坦(flat)和常量(constant)路径,而三元及更高元(higher-arity)的执行则通过通用的统一向量循环进行。这些实现独立地解决了相同的表示、有效性(validity)和选择(selection)问题。这使得热路径难以持续优化,也意味着一个廉价的三元操作,当每个输入都是平坦或常量时,仍然要付出选择向量和每输入有效性检查的开销。
ZCBUS实时计算8 天前
大数据·数据库·数据仓库·sql·dba·etl·政务
政务海量分库分表汇聚实战:基于 3 节点 ZCBUS 集群完成医保 10TB 数据实时整合省级医保体系拆分政策中心、结算中心、用户中心、参保中心、基础信息、业务中心、征缴中心七大业务板块,各中心独立部署 RDS 数据库集群,整体业务痛点十分突出:
hopsky9 天前
数据仓库·bi
数据架构与商业智能《数据架构与商业智能》是由王飞编著、机械工业出版社于2015年6月出版的专业技术书籍,是《商业智能深入浅出》一书的姊妹篇。该书聚焦于数据架构、商业智能、数据治理和大数据技术四大核心领域,通过理论与实践相结合的方式,为读者提供了系统化的知识体系和行业应用案例。全书共13章,分为企业架构总体规划、数据架构分析、商业智能架构理论与实践、大数据架构与实践、数据治理体系等多个模块,旨在帮助读者理解如何通过数据架构设计和商业智能技术实现企业数据价值的最大化。
APItesterCris10 天前
大数据·运维·数据库·数据仓库·自动化
Open Claw 实战教程:5 分钟搭建京东商品自动化监控与数据分析系统做电商运营、竞品调研、货源选品、铺货运维的朋友,几乎都会遇到同一个痛点:手动盯商品价格、库存、促销活动、规格变动效率极低;批量整理竞品数据、做价格走势复盘、销量口碑分析时,复制粘贴整理数据耗时耗力,人工统计还容易出错。
l1t13 天前
数据仓库
DeepSeek总结的上下文理应归属于数据仓库来源:https://motherduck.com/blog/context-belongs-in-the-warehouse/
RestCloud13 天前
数据仓库·etl·cdc·数据同步·数据集成平台·实时数据同步·elt
ETL、ELT、CDC区别详解,2026数据集成模式选型指南与落地实战ETL(Extract-Transform-Load)是先抽取数据、在中间层清洗转换、再加载到目标的数据集成模式,适用于大批量离线处理;
江晓鱼未暖13 天前
大数据·数据库·数据仓库·redis·缓存·架构
十七、Redis 核心原理与架构详解Redis 是一个开源的、基于内存的高性能键值存储数据库,支持丰富的数据结构类型,单节点 QPS 可达 10 万+,读写延迟低至亚毫秒级别。本文从 Redis 的核心架构、数据结构、持久化机制、内存管理、高可用方案等维度进行系统性的深度剖析。
观远数据21 天前
数据仓库·etl
数据集成平台选型战卡:DataFlow对比传统ETL的5个维度与红线排除项很多企业选型数据集成工具时,第一反应就是采购传统ETL——这似乎是行业默认的标准答案,但我们观察到一个和常识相反的结论:传统ETL并非所有企业数据集成的最优解,超过60%的中大型企业上线传统ETL后存在开发周期长、维护成本超支问题,这个结论来自艾瑞咨询《2025年中国BI市场报告》。
Y38153266217 天前
数据仓库·etl
3 种 SERP 数据 ETL 方案对比:实时 / 定时 / 流式背景调 serpbase 拿数据后怎么 ETL 进数据仓库?3 种架构:实时同步、定时批处理、流式管道。
这个DBA有点耶18 天前
数据库·数据仓库·sql·database·数据库架构·olap·dba
交易型数据库是什么?OLTP核心能力与2026选型指南关键词:交易型数据库;OLTP;事务处理;国产数据库;选型指南大家好,我是小耶,写功课只是为了我踩过的坑,你们别再踩了!
德昂信息dataondemand19 天前
数据仓库·etl
全量还是增量?聊聊数仓ETL中的数据同步策略在数仓ETL开发过程中,数据同步几乎贯穿整个链路。目前在企业数仓项目中,主要有两种同步策略:全量同步和增量同步。很多文章会倾向于强调增量同步的“先进性”,但在真实项目中,两种方式往往是同时存在的,只是适用场景不同。