hive

humbinal2 天前
hive·python·rust·spark·开源·github·parquet
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!手里拿到一个 .parquet 文件,想快速确认里面有什么:字段是什么、多少行、压缩方式、前几条数据长什么样……却不得不打开 Notebook,临时写一段 pandas / pyarrow 代码?
吾AI科技4 天前
大数据·hive·性能优化·tez
基于Tez引擎的 Hive SQL 性能优化最近生产上有一个Hive SQL脚本运行耗时比较久(短则一分多钟,长则十几分钟),被用户多次吐槽,大数据离线计算一分钟还算正常,但是跑十几分钟而且时间还不稳定就影响用户其他事务的安排和计划了。于是决定分析和优化一下这个 SQL ,在这里做个笔记。
abcy0712135 天前
hive
hive 执行器原理在讨论Hive的执行器(执行引擎)原理之前,我们先简要了解Hive的整体架构和组件。Apache Hive是一个建立在Hadoop上的数据仓库工具,用于提供数据查询和分析。Hive允许用户以类似SQL的方式查询存储在Hadoop文件系统(HDFS)中的数据,而不需要编写MapReduce程序。
香山上的麻雀10087 天前
数据仓库·hive·hadoop
Hive内部表(MANAGED_TABLE)的“批量删除分区”特性详解在生产环境中,我们时常遇到这样一个令人困惑的场景:明明执行的是 DROP 操作,为什么数据文件没有被删除?这不是 Bug,而是 Hive 内部表(MANAGED_TABLE) 在特定场景下的设计特性。
jjjava2.09 天前
数据仓库·hive·hadoop
SpringMVC入门指南:从零掌握核心要点MVC定义:MVC是Model(模型)、 View(视图)、 Controller(控制器)的缩写Spring MVC重点就是如何通过浏览器和用户程序进行交互,主要为以下三个方面:
AllData公司负责人10 天前
大数据·数据库·hive·mysql·oceanbase·tdengine
数据库同步平台|AIIData数据中台实现OceanBase、达梦数据库、OpenGauss、人大金仓、Hive、TDengine 一键接入Doris►顶部微信名片可直接添加市场总监,商务咨询、方案沟通即时响应 ►点击链接了解详情,马上加入开源社区获取资源 https://docs.qq.com/doc/DVnhVemtBTHdDVHps
AllData公司负责人11 天前
大数据·数据库·hive·mysql·kafka·实时同步
数据同步平台|AIIData数据中台实现MySQL、Hive、Kafka 一键接入Doris企业推进数字化转型过程中,普遍遭遇多源异构数据相互割裂形成数据孤岛、数据同步延迟偏高、配置操作依赖人工重复运维等难题。
李昊哲小课12 天前
数据仓库·hive·数仓
Ubuntu26.04-Hadoop3.5.0搭建hive4.2.0登录MySQL修改MySQL密码登录MySQL后,修改现有用户的host修改MySQL配置文件找到并修改bind-address
AllData公司负责人13 天前
大数据·数据库·人工智能·hive·mysql·oracle·数据分析
数据集成管理|AIIData数据中台实现MySQL、Hive、Oracle一键接入Doris在数字化转型中企业往往面临着多源异构数据孤岛、数据同步时效性差以及手动配置繁琐等痛点。如何高效、稳定地将各类数据汇聚至高性能分析型数据库,成为了构建企业级数据中台的关键。
婉然从物13 天前
hive·sql·flink
Flink SQL 元数据持久化实战:从“每次重启表消失”到“Hive Metastore 永久存储”在使用 Flink SQL Client 进行实时计算开发时,你是否遇到过这样的场景:花费大量时间创建好 orders_source、products_source、category_sales_sink 等表定义
泰克教育官方账号13 天前
数据仓库·hive·hadoop
泰涨知识 | Hive集群环境部署Hive是什么Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
龙石数据13 天前
数据库·hive·mysql·数据治理·数据中台
MySQL 全量同步到 Hive 怎么做?三步配置教程本文适合谁读:数据工程师、ETL 开发人员、数据平台运维,正在为 MySQL 到 Doris/Hive 等 OLAP 引擎的全量同步维护手工脚本,希望用可视化方式替代脚本、降低维护成本。
心中有国也有家14 天前
hive·hadoop·学习·flutter·华为·harmonyos
E-Brufen 技术选型全景:Flutter + 鸿蒙 + Hive CE数据流示意:背景:HarmonyOS 原生开发使用 ArkTS + ArkUI,而 Flutter 通过其鸿蒙引擎提供了一条跨平台路径。
DataPulse*14 天前
hive·hadoop·硬件架构
Hive常用参数调优十二板斧一般情况下,Limit语句还是需要执行整个查询语句,然后再返回部分结果。有一个配置属性可以开启,避免这种情况---对数据源进行抽样。
TTBIGDATA15 天前
hive·hadoop·flink·ambari·hdp·cdh·bigtop
【Ambari Plus】12.Flink 安装Flink 在这套环境里主要接入 YARN 运行。安装时会部署 FLINK_HISTORYSERVER 和 FLINK_CLIENT,HistoryServer 用来看已完成作业,Client 用来提交 Flink 任务。
心中有国也有家15 天前
hive·学习·flutter·华为·harmonyos
Flutter 鸿蒙适配第一步:从 hive 迁移到 hive\_ce当我们将 Flutter 应用移植到 HarmonyOS 时,存储层的适配往往成为第一个拦路虎。本文不只是一份迁移操作手册,更是一次关于跨平台存储架构的深度思考——从 sqflite 到 hive,再到 Hive CE,我们经历了怎样的技术演进与决策过程。
AllData公司负责人15 天前
大数据·数据库·数据仓库·人工智能·hive·hadoop·开源
AIIData数据中台集成OpenMetadata开源项目,成功运行Hive数据血缘拾取任务,支持库级别+表级别+字段级血缘!AIIData数据中台集成OpenMetadata构建元数据管理平台,可快速对接Hive数据源,自动抽取表级与字段级数据血缘关系,全景还原数据流转全链路。通过统一企业元数据标准口径,能够有效压降数据治理成本,大幅提升数据溯源与故障排查效率。
心中有国也有家15 天前
人工智能·hive·flutter·华为·harmonyos
鸿蒙 Flutter 本地存储实战:Hive CE 从入门到精讲当 sqflite 在鸿蒙上成为历史,Hive CE 如何扛起本地存储的大旗?本文以 E-Brufen 为蓝本,深入剖析纯 Dart 存储方案的设计与实现。
KASH_SHADOW18 天前
hive·hadoop·sqoop
10-Sqoop的安装与配置Sqoop的安装与配置1. 任务概述本任务旨在指导大数据工程师或数据平台管理员,在Linux环境中完成Sqoop工具的安装与配置。通过本任务的学习与实践,学员将掌握从安装包准备、解压部署、环境配置、系统集成到功能验证与数据库连接测试的全流程技能。
王小王-1231 个月前
hive·hadoop·数据分析·音乐数据分析·网易云音乐分析·hive音乐分析·hadoop网易云
基于 Hive 的网易云音乐数据分析及可视化系统目录一、项目背景二、项目整体思路三、资料结构四、数据采集五、数据预处理六、Hive离线分析七、可视化大屏