技术栈
数据仓库
vxtkjzxt888
6 天前
数据库
·
数据仓库
手机群控平台的核心功能
手机群控平台是一种通过中央控制系统批量管理多台移动设备的解决方案,其核心功能在于实现高效、精准的终端设备协同操作。该技术广泛应用于营销推广、数据采集、自动化测试等场景,显著提升多设备并行处理效率。
core512
6 天前
数据仓库
·
hive
·
hadoop
Hive实战(三)
接上文:Hive实战(二) 数据管理、查询、函数、调优。通常来说,对数据的增删改查都是属于数据管理。但是对于Hive来说,对数据的增、删、改,往往都不是他的重点。而对于Hive来说,管理数据的方式重要的就是导入导出 和 查询两个方面。这一章节就来介绍下hive如何对数据进行导入导出操作。
程序员小羊!
7 天前
大数据
·
数据仓库
·
hive
大数据电商流量分析项目实战:Hive 数据仓库(三)
✨博客主页: https://blog.csdn.net/m0_63815035?type=blog💗《博客内容》:大数据、Java、测试开发、Python、Android、Go、Node、Android前端小程序等相关领域知识 📢博客专栏: https://blog.csdn.net/m0_63815035/category_11954877.html 📢欢迎点赞 👍 收藏 ⭐留言 📝 📢本文为学习笔记资料,如有侵权,请联系我删除,疏漏之处还请指正🙉 📢大厦之成,非一木之材也;大海之阔,
core512
7 天前
数据仓库
·
hive
·
hadoop
·
架构
·
实战
·
配置
·
场景
Hive实战(一)
hive部署,参考:HBase实战(三)中Hive与HBase集成部分。Hive是由Facbook开源的一个解决海量结构化日志的数据统计工具,是Apache的一个顶级项目。官网地址: http://hive.apache.org/ 。我们要了解一个组件,官网的介绍是最重要的: The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in dist
core512
9 天前
数据仓库
·
hive
·
hadoop
Hive实战(二)
接上文:Hive实战(一) 介绍:数据结构、复杂数据结构、维护数据库、维护表、外部表、分区表、分区桶。
Agatha方艺璇
9 天前
数据仓库
·
hive
·
hadoop
Hive基础简介
MySQL: 处理不了大数据 & SQL语句简单—>Hadoop: HDFS【存储 & 需要Java能力和MR能力】+ MapReduce(MR)【处理数据 & 需要Java能力和MR能力】—>
Leo.yuan
9 天前
大数据
·
数据库
·
数据仓库
·
信息可视化
·
spark
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
目录一、数据仓库概述1.数据仓库的定义2.数据仓库的作用3.数据仓库的发展历程二、常见的数据仓库模型1.范式模型
chat2tomorrow
9 天前
大数据
·
数据库
·
数据仓库
·
mysql
·
低代码
·
postgresql
·
etl
数据采集平台的起源与演进:从ETL到数据复制
目录一、数据采集的起点:脚本与批处理二、ETL 工具的崛起:结构化数据采集的黄金时代三、数据复制工具的兴起:实时采集的需求
DashingGuy
10 天前
数据仓库
数仓建模理论
重点掌握:数据仓库之父比尔·恩门(Bill Inmon)在 1991 年出版的“Building the Data Warehouse”一书中所提出的定义被广泛接受:数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的 (Non-Volatile)、反映历史变化(Time Variant)的数据集合,数据仓库的目 标是用于支持分析和决策(Decision Making Support)。
像豆芽一样优秀
11 天前
大数据
·
数据仓库
·
hive
·
hadoop
·
flink
Hive和Flink数据倾斜问题
数据采样分析:提前分析键的分布情况数据预处理:对极端值进行拆分或特殊处理合理的键设计:选择分布相对均匀的字段作为分区键
aristo_boyunv
11 天前
java
·
数据仓库
·
hadoop
·
servlet
拦截器和过滤器(理论+实操)
本文旨在夯实基础以及实战加深理解,目的是更深的理解以便掌握,希望能跟着动手敲一遍,绝对受益匪浅在本文,我会先给出两者的区别(理论知识),随后是两者各自的实操实现
元媛媛
12 天前
数据仓库
数据仓库概要
数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。数据仓库围绕核心业务主题(如客户、产品、销售、财务)来组织数据,而不是围绕具体的业务流程或应用系统。这与操作型数据库 (如订单处理系统)不同,后者是面向事务 的。
cg.family
12 天前
数据仓库
·
doris
Doris 数据仓库例子
基于 Apache Doris 构建数据仓库的方案和具体例子。Doris 以其高性能、易用性和实时能力,成为构建现代化数据仓库(特别是 OLAP 场景)的优秀选择。
TDengine (老段)
12 天前
数据库
·
数据仓库
·
人工智能
·
物联网
·
时序数据库
·
etl
·
tdengine
从 ETL 到 Agentic AI:工业数据管理变革与 TDengine IDMP 的治理之道
小T导读: 工业大数据浪潮席卷而来,传统的 ETL(Extract-Transform-Load)流程在应对海量、高频时序数据和敏捷业务需求时捉襟见肘。数据湖虽解决了存储与灵活分析的瓶颈,却带来了数据沼泽化的治理难题。本文将回顾工业数据管理从 ETL 到 ELT 的演进路径,剖析工业数据治理的独特挑战与 AI 驱动机遇,并重点介绍 TDengine IDMP 如何通过数据情景化这一关键能力,结合 Agentic AI 架构,为工业数据的高效治理与价值释放提供强大支撑。
镜舟科技
13 天前
大数据
·
starrocks
·
数据仓库
·
hadoop
·
存算分离
告别 Hadoop,拥抱 StarRocks!政采云数据平台升级之路
作者:李进勇 政采云研发中心数据平台负责人在当下数字化转型的浪潮中,数据早已从辅助资源跃升为核心生产资料和决策基础。政府提升治理效能,企业优化运营、创新服务,都深度依赖对海量数据的实时洞察与高效处理。
YF云飞
13 天前
数据仓库
·
人工智能
·
ai
数据仓库进化:Agent驱动数智化新范式
目录回顾:从 "人为中心" 的数仓,到大数据与云数仓的进化AI Agent 成为数据的 "新用户"Agentic Data Stack 如何打破低效与内耗
KANGBboy
16 天前
数据仓库
·
hive
·
hadoop
hive udf 执行一次调用多次问题
执行一次调用了两次,查看执行计划结果显示执行计划里仅显示 Stage-0 (属于客户端本地阶段,无分布式计算),且扫描的是 dummy_table (Hive 虚拟表,仅用于返回固定值,无需 MapReduce 处理 )。 原因: