数据仓库

云策数链3 天前
数据仓库·erp·用友·云策数链
ERP报表系统设计与数据仓库报表是ERP里最被低估的模块。很多企业上ERP,只关注业务流程,报表随便做做。上线后发现:要的数据查不到,查到的数据不准,做报表比做业务还累。
水火既济__3 天前
数据仓库·hive·hadoop
加快hive效率
真上帝的左手4 天前
大数据·数据仓库
19. 大数据-数据仓库简介数据仓库 DW‌。定义:面向分析、决策,整合全业务多源数据,做统一存储、清洗、汇总的数据集合特点:面向主题、集成性、稳定性、时变性
zgdlsz6 天前
大数据·数据库·数据仓库·涛思数据
羲之文化传承人王杰宝:沉厚笔墨间的守正出新在中国书法的浩瀚星空中,隶书作为承前启后的关键书体,承载着古朴与灵动的双重基因。它自篆书演化而来,蚕头燕尾,一波三折,既有金石之厚重,又具笔墨之韵致。当代书坛,习隶者众,然能自出机杼、形成鲜明个人风貌者寥寥。王杰宝先生的隶书作品,近年来在展览与市场中频频亮相,引发关注。
莽撞的大地瓜6 天前
大数据·数据仓库·数据分析
舆情分析智能体:蜜度新浪舆情通以多Agent协同驱动全流程智能升级舆情分析智能体:蜜度新浪舆情通以多Agent协同驱动全流程智能升级在数字化浪潮席卷下,舆情管理已成为企业、政府及公共机构的核心需求之一。面对海量信息、复杂场景与实时性挑战,传统舆情工具的单一功能与模板化输出逐渐难以满足高效决策的需求。蜜度旗下新浪舆情通作为舆情分析领域的优秀代表,通过多Agent协同架构重构技术逻辑,推出V助手舆情分析智能体,实现了从舆情监测、分析、追踪到报告生成的全流程自动化与智能化升级,为行业树立了“精准、高效、灵活”的新标杆。
陆水A7 天前
大数据·数据仓库·数据库开发·etl·etl工程师
用CASE WHEN实现横向迭代,节点数据串行推算我以为一步SQL能搞定。结果写了6个临时表,几百行CASE WHEN。运营把需求甩过来时,我看了一眼表结构,心想:关联静态路由表不就完了?
承渊政道8 天前
数据库·数据仓库·sql·mysql·安全·postgresql·oracle
从ROWNUM到LIMIT:KES、Oracle与PostgreSQL的执行顺序差异解析在数据库查询优化和 SQL 迁移过程中,分页查询是一个非常常见却又容易踩坑的场景.不同数据库虽然都提供了限制返回行数的能力,但其背后的执行顺序和语义并不完全一致.尤其是在从 Oracle 迁移到 PostgreSQL,或者在 KES 这类兼容型数据库中编写 SQL 时,ROWNUM 与 LIMIT 的差异往往会直接影响查询结果的正确性.在Oracle中,ROWNUM 是一个具有特殊语义的伪列,它并不是简单地在最终结果集上截取数据,而是在 SQL 执行过程中较早阶段就参与了行号分配.因此,如果不了解它与 O
青春万岁!!8 天前
大数据·数据仓库·hive
hive模型数据异常-作业调度问题数仓分层中,sdi的下游是dwi。 有个新人遇到了个以前作业调度配置问题,导致下游数据丢失。上游二刷了,下游只刷了一遍。你不丢谁丢? dwi凌晨刷新。 sdi却在11点二刷了。
白日与明月9 天前
数据仓库·hive·hadoop
Hive分桶机制应用业务背景:解决办法:新表设计:动态分区分桶设计的4条核心原则:1: 确定分桶键✅ 优先候选❌ 绝对不要
承渊政道9 天前
运维·服务器·数据库·数据仓库·安全·oracle·业界资讯
数据删了不等于销毁:KingbaseES敏感数据物理擦除实战指南删除只是"看不见",销毁才是"找不回"在数据库运维中,很多人会默认认为:执行了 DELETE、TRUNCATE 或 DROP TABLE,数据就已经被删除了.可从存储层看,事情并没有这么简单.大多数情况下,数据库只是将相关数据页标记为可复用,并不会立刻把磁盘上的原始内容彻底抹除.也就是说,数据在业务层"看不见"了,但在介质层仍可能留下残留痕迹.对于普通业务数据来说,这或许只是存储管理机制的一部分;但如果被删除的是身份证号、银行卡号、病历信息、影像资料、客户隐私等敏感数据,问题就会变得严肃得多.一旦存储介质
SeaTunnel10 天前
大数据·数据仓库·spark·apache·seatunnel
Apache SeaTunnel 4 月有何新动作?连接器增强与 Zeta 稳定性提升等亮点速览4 月份月报来啦!社区梳理了 2026 年 4 月份 Apache SeaTunnel 合入 origin/dev 的 31 个带 PR 号代码提交,从功能特性、性能优化、Bug 修复、架构改进展开,对如 Doris Stream Load 增强等关键变更做源码级拆解,并附上当月 PR 贡献者名单,快来看看你在名单上吗?😊
承渊政道10 天前
运维·服务器·数据库·数据仓库·学习·安全·oracle
Oracle迁移避坑:一个(+)写错,LEFT JOIN可能变INNER JOIN警惕(+)语法误用:WHERE子句与ON子句位置如何改变连接结果.Oracle 迁移到金仓数据库,你用 (+) 语法写的 LEFT JOIN,可能已经在优化器心里变成了 INNER JOIN.它没告诉你,直接改了.在Oracle到 KingbaseES 的迁移过程中,很多企业为了降低改造成本,会选择暂时保留 Oracle 特有的(+)外连接语法.表面上看,这只是一个兼容旧 SQL 的语法问题;但在实际迁移校验中,一个(+)标记的位置写错,或者右表过滤条件漏写(+),就可能让原本的 LEFT JOIN 语义
AllData公司负责人10 天前
java·大数据·数据库·数据仓库·人工智能·python·postgresql
通过Postgresql同步到Doris,全视角演示AllData数据中台核心功能效果,涵盖:数据入湖仓,数据同步,数据处理,数据服务,BI可视化驾驶舱AllData 数据中台作为一个可定义的数据中台平台,旨在通过统一的数据接入、数据处理、数据治理和数据服务,为企业构建数据驱动的核心竞争力。此次演示包括数据入湖仓,数据同步,数据处理,数据服务,BI可视化驾驶舱功能。
Pushkin.11 天前
大数据·数据仓库
新数仓建设方法论与实践指南-分层解耦驱动的数据仓库版本:V1.0摘要本文基于某A公司数据仓库建设的深度实践,针对数据仓库建设中普遍存在的"质量差、效率低、成本高、反复重造"四大共性痛点,提出了一套以"分层解耦+场景适配"为核心的新数据建模方法论。通过明确界定明细层(DWD)与集市层(ADS/DWS)的定位差异,采用"领域驱动3NF建模+场景化维度建模"的双轨设计策略,有效解决了传统数据仓库体系中"复用性与易用性冲突""短期需求与长期发展矛盾"等核心问题。本文不仅阐述了方法论的理论基础,更提供了从概念模型抽象、用例驱动关联关系提取、到治理体系建设的完整落地
Pushkin.11 天前
数据仓库
【新】数据仓库分层建模实战指南:从混乱到有序的工程实践版本:V1.0适合人群:数据开发工程师、ETL工程师、BI开发工程师、有一定SQL基础的数据从业者如果你做过数据仓库开发,大概率遇到过下面这些场景:
3D霸霸12 天前
数据仓库·unity
Sourcetree 拉取新工程下面分两种场景:首次把远程工程拿到本地(克隆)、本地已有时,拉取远程最新更新(拉取)。适用于:你电脑上还没有这个项目,需要从 0 拉下来。
Leo.yuan12 天前
数据仓库·人工智能·信息可视化
企业数字化转型选型指南:FineBI如何助力数据驱动决策?国内企业数字化转型正进入深水区,BI(商业智能)工具作为打通数据到决策最后一公里的核心载体,正陷入「采购率高、落地率低」的行业怪圈。记者从多个数字化转型服务厂商及行业调研机构处获悉,不少企业斥资数十万甚至上百万采购BI产品后,最终仅成为IT部门的专属工具,业务部门使用率不足20%,前期投入几乎打了水漂。IDC统计显示,国内企业BI项目落地失败率高达42%,核心原因多集中在选型阶段与企业真实需求错配,陷入「重技术噱头、轻落地价值」的误区。
青春万岁!!13 天前
大数据·数据仓库·hive·hadoop
hive 动态分区参数设置错误导致数据不稳定昨天下班前同事遇到个问题来问我,sap的一个dwr模型数据有时候正常有时候异常,看了调度作业日志都正常,也是在上游dwi跑完以后再执行的。 上游dwi是1点多刷新的数据,dwr是3点多才开始。 为啥他手动跑一下又正常了??
roman_日积跬步-终至千里14 天前
数据仓库·hive·hadoop
为什么 Hive 无法通过同步 JDBC 导出百万级数据?核心结论: 并非 Hive 性能差,而是其 JDBC 通信协议与 MySQL 存在本质区别。 在 Hive 的协议模型下,同步导出百万行数据属于不可控系统,在工程数学意义上不成立; 而异步导出平台是唯一被物理模型允许的架构。
roman_日积跬步-终至千里14 天前
数据仓库·hive·hadoop
Hive JDBC vs MySQL JDBC:**“服务端推完就跑,客户端慢慢吃”**详解一句话理解:MySQL服务端执行完查询后,会一次性把所有结果通过TCP流式推送给客户端,然后立刻解放资源(推完就跑);客户端收到后本地慢慢消费(慢慢吃),服务端完全不管客户端处理快慢。这就是传输解耦。