hive

fastjson_1 天前
数据仓库·hive·hadoop
Hive的介绍和使用Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。 在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)
William Dawson6 天前
java·hive·spring boot
【踩坑实录|Hive1\.2\.1数据服务接口5大疑难问题调试与全方位优化方案】哈喽各位Java、大数据开发的小伙伴!近期在维护Spring Boot + MyBatis + Hive架构的数据服务平台时,接连遭遇多个隐蔽且棘手的线上问题:前端接口500超时、海量日志噪音淹没核心信息、Redis异常导致服务启动失败、Hive查询接口返回空数据、项目代码冗余重复等。
牛奶咖啡1313 天前
大数据·hive·hive的配置与安装·metastore服务的配置·hiveserver2服务配置·hive的常用sql操作·beeline的使用
大数据Hadoop运维应用实践——HIVE与Hadoop实现整合_Hive的配置安装与使用大数据Hadoop运维应用实践——HIVE与Hadoop实现整合_Hive架构与组件解析 https://blog.csdn.net/xiaochenXIHUA/article/details/163171639
向夏威夷 梦断明暄15 天前
hive·sql·性能优化
基于Tez引擎的 Hive SQL 性能优化Hive 执行过程分析 1.优化之前首先了解 Hive 是如何执行 SQL 的,生产环境基于 Tez 引擎,这一点在分析问题时也需要考虑。从大的方向上看 Hive 由以下执行过程组成:
humbinal22 天前
hive·python·rust·spark·开源·github·parquet
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!手里拿到一个 .parquet 文件,想快速确认里面有什么:字段是什么、多少行、压缩方式、前几条数据长什么样……却不得不打开 Notebook,临时写一段 pandas / pyarrow 代码?
吾AI科技24 天前
大数据·hive·性能优化·tez
基于Tez引擎的 Hive SQL 性能优化最近生产上有一个Hive SQL脚本运行耗时比较久(短则一分多钟,长则十几分钟),被用户多次吐槽,大数据离线计算一分钟还算正常,但是跑十几分钟而且时间还不稳定就影响用户其他事务的安排和计划了。于是决定分析和优化一下这个 SQL ,在这里做个笔记。
abcy07121325 天前
hive
hive 执行器原理在讨论Hive的执行器(执行引擎)原理之前,我们先简要了解Hive的整体架构和组件。Apache Hive是一个建立在Hadoop上的数据仓库工具,用于提供数据查询和分析。Hive允许用户以类似SQL的方式查询存储在Hadoop文件系统(HDFS)中的数据,而不需要编写MapReduce程序。
香山上的麻雀10081 个月前
数据仓库·hive·hadoop
Hive内部表(MANAGED_TABLE)的“批量删除分区”特性详解在生产环境中,我们时常遇到这样一个令人困惑的场景:明明执行的是 DROP 操作,为什么数据文件没有被删除?这不是 Bug,而是 Hive 内部表(MANAGED_TABLE) 在特定场景下的设计特性。
jjjava2.01 个月前
数据仓库·hive·hadoop
SpringMVC入门指南:从零掌握核心要点MVC定义:MVC是Model(模型)、 View(视图)、 Controller(控制器)的缩写Spring MVC重点就是如何通过浏览器和用户程序进行交互,主要为以下三个方面:
AllData公司负责人1 个月前
大数据·数据库·hive·mysql·oceanbase·tdengine
数据库同步平台|AIIData数据中台实现OceanBase、达梦数据库、OpenGauss、人大金仓、Hive、TDengine 一键接入Doris►顶部微信名片可直接添加市场总监,商务咨询、方案沟通即时响应 ►点击链接了解详情,马上加入开源社区获取资源 https://docs.qq.com/doc/DVnhVemtBTHdDVHps
AllData公司负责人1 个月前
大数据·数据库·hive·mysql·kafka·实时同步
数据同步平台|AIIData数据中台实现MySQL、Hive、Kafka 一键接入Doris企业推进数字化转型过程中,普遍遭遇多源异构数据相互割裂形成数据孤岛、数据同步延迟偏高、配置操作依赖人工重复运维等难题。
李昊哲小课1 个月前
数据仓库·hive·数仓
Ubuntu26.04-Hadoop3.5.0搭建hive4.2.0登录MySQL修改MySQL密码登录MySQL后,修改现有用户的host修改MySQL配置文件找到并修改bind-address
AllData公司负责人1 个月前
大数据·数据库·人工智能·hive·mysql·oracle·数据分析
数据集成管理|AIIData数据中台实现MySQL、Hive、Oracle一键接入Doris在数字化转型中企业往往面临着多源异构数据孤岛、数据同步时效性差以及手动配置繁琐等痛点。如何高效、稳定地将各类数据汇聚至高性能分析型数据库,成为了构建企业级数据中台的关键。
婉然从物1 个月前
hive·sql·flink
Flink SQL 元数据持久化实战:从“每次重启表消失”到“Hive Metastore 永久存储”在使用 Flink SQL Client 进行实时计算开发时,你是否遇到过这样的场景:花费大量时间创建好 orders_source、products_source、category_sales_sink 等表定义
泰克教育官方账号1 个月前
数据仓库·hive·hadoop
泰涨知识 | Hive集群环境部署Hive是什么Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
龙石数据1 个月前
数据库·hive·mysql·数据治理·数据中台
MySQL 全量同步到 Hive 怎么做?三步配置教程本文适合谁读:数据工程师、ETL 开发人员、数据平台运维,正在为 MySQL 到 Doris/Hive 等 OLAP 引擎的全量同步维护手工脚本,希望用可视化方式替代脚本、降低维护成本。
心中有国也有家1 个月前
hive·hadoop·学习·flutter·华为·harmonyos
E-Brufen 技术选型全景:Flutter + 鸿蒙 + Hive CE数据流示意:背景:HarmonyOS 原生开发使用 ArkTS + ArkUI,而 Flutter 通过其鸿蒙引擎提供了一条跨平台路径。
DataPulse*1 个月前
hive·hadoop·硬件架构
Hive常用参数调优十二板斧一般情况下,Limit语句还是需要执行整个查询语句,然后再返回部分结果。有一个配置属性可以开启,避免这种情况---对数据源进行抽样。
TTBIGDATA1 个月前
hive·hadoop·flink·ambari·hdp·cdh·bigtop
【Ambari Plus】12.Flink 安装Flink 在这套环境里主要接入 YARN 运行。安装时会部署 FLINK_HISTORYSERVER 和 FLINK_CLIENT,HistoryServer 用来看已完成作业,Client 用来提交 Flink 任务。
心中有国也有家1 个月前
hive·学习·flutter·华为·harmonyos
Flutter 鸿蒙适配第一步:从 hive 迁移到 hive\_ce当我们将 Flutter 应用移植到 HarmonyOS 时,存储层的适配往往成为第一个拦路虎。本文不只是一份迁移操作手册,更是一次关于跨平台存储架构的深度思考——从 sqflite 到 hive,再到 Hive CE,我们经历了怎样的技术演进与决策过程。