hive

fastjson_1 天前
数据仓库·hive·hadoop
Hive 基础函数unix_timestamp 函数是将一个字符串,变为了一个时间戳 from_unixtime 函数是将时间戳变为了一个字符串
邀星月为媒4 天前
hive·hadoop·gitee
正式迁移 Gitee:core-site-hive 与 core-hive-agent 后续更新只认这两个地址如果你之前关注过 core-site-hive 或 core-hive-agent,这篇文章请收藏一下。
fastjson_5 天前
数据仓库·hive·hadoop
Hive 复杂数据类型Hive 复杂数据类型有三种,分别是Array Map Struct说明:下标从0开始,越界不报错,以null代替
hopsky6 天前
数据仓库·hive·hadoop
《Hive性能调优实战》核心内容详细解读(作者:林志煌,机械工业出版社,2020年出版,ISBN:9787111644323)《Hive性能调优实战》是一本关于Apache Hive调优的专业书籍,旨在介绍如何进行Hive性能调优,以及调优时所涉及的工具。书中重点介绍了Hive性能调优所涉及的Hadoop组件和Hive工具。这是一本实战导向的技术书籍,作者林志煌曾在中国互联网头部公司长期从事大数据相关项目的研发,经手过日数据流量TB级别和总量PB级别的Hadoop大数据平台建设,具有丰富的生产环境经验。
赤土 炙焱18 天前
hive·hadoop
hiveserver2启动失败,磁盘满了hiveserver2 连接失败,查看日志,磁盘满了查看磁盘情况查看内存占用大小du -sh /var/* | sort -h
Waay21 天前
大数据·数据库·hive·hadoop·hdfs·hbase
什么是HBase?它和Hive有什么区别?Hive:离线大数据仓库,存日志、订单批量数据,只能做批量统计查询,不能实时根据某一条 ID 快速查数据;
Francek Chen18 天前
大数据·数据仓库·hive·hadoop·分布式·数据分析
【大数据处理与分析】数据仓库Hive:02 数据湖【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
fastjson_22 天前
数据仓库·hive·hadoop
Hive的介绍和使用Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。 在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)
William Dawson1 个月前
java·hive·spring boot
【踩坑实录|Hive1\.2\.1数据服务接口5大疑难问题调试与全方位优化方案】哈喽各位Java、大数据开发的小伙伴!近期在维护Spring Boot + MyBatis + Hive架构的数据服务平台时,接连遭遇多个隐蔽且棘手的线上问题:前端接口500超时、海量日志噪音淹没核心信息、Redis异常导致服务启动失败、Hive查询接口返回空数据、项目代码冗余重复等。
牛奶咖啡131 个月前
大数据·hive·hive的配置与安装·metastore服务的配置·hiveserver2服务配置·hive的常用sql操作·beeline的使用
大数据Hadoop运维应用实践——HIVE与Hadoop实现整合_Hive的配置安装与使用大数据Hadoop运维应用实践——HIVE与Hadoop实现整合_Hive架构与组件解析 https://blog.csdn.net/xiaochenXIHUA/article/details/163171639
向夏威夷 梦断明暄1 个月前
hive·sql·性能优化
基于Tez引擎的 Hive SQL 性能优化Hive 执行过程分析 1.优化之前首先了解 Hive 是如何执行 SQL 的,生产环境基于 Tez 引擎,这一点在分析问题时也需要考虑。从大的方向上看 Hive 由以下执行过程组成:
humbinal1 个月前
hive·python·rust·spark·开源·github·parquet
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!手里拿到一个 .parquet 文件,想快速确认里面有什么:字段是什么、多少行、压缩方式、前几条数据长什么样……却不得不打开 Notebook,临时写一段 pandas / pyarrow 代码?
吾AI科技1 个月前
大数据·hive·性能优化·tez
基于Tez引擎的 Hive SQL 性能优化最近生产上有一个Hive SQL脚本运行耗时比较久(短则一分多钟,长则十几分钟),被用户多次吐槽,大数据离线计算一分钟还算正常,但是跑十几分钟而且时间还不稳定就影响用户其他事务的安排和计划了。于是决定分析和优化一下这个 SQL ,在这里做个笔记。
abcy0712132 个月前
hive
hive 执行器原理在讨论Hive的执行器(执行引擎)原理之前,我们先简要了解Hive的整体架构和组件。Apache Hive是一个建立在Hadoop上的数据仓库工具,用于提供数据查询和分析。Hive允许用户以类似SQL的方式查询存储在Hadoop文件系统(HDFS)中的数据,而不需要编写MapReduce程序。
香山上的麻雀10082 个月前
数据仓库·hive·hadoop
Hive内部表(MANAGED_TABLE)的“批量删除分区”特性详解在生产环境中,我们时常遇到这样一个令人困惑的场景:明明执行的是 DROP 操作,为什么数据文件没有被删除?这不是 Bug,而是 Hive 内部表(MANAGED_TABLE) 在特定场景下的设计特性。
jjjava2.02 个月前
数据仓库·hive·hadoop
SpringMVC入门指南:从零掌握核心要点MVC定义:MVC是Model(模型)、 View(视图)、 Controller(控制器)的缩写Spring MVC重点就是如何通过浏览器和用户程序进行交互,主要为以下三个方面:
AllData公司负责人2 个月前
大数据·数据库·hive·mysql·oceanbase·tdengine
数据库同步平台|AIIData数据中台实现OceanBase、达梦数据库、OpenGauss、人大金仓、Hive、TDengine 一键接入Doris►顶部微信名片可直接添加市场总监,商务咨询、方案沟通即时响应 ►点击链接了解详情,马上加入开源社区获取资源 https://docs.qq.com/doc/DVnhVemtBTHdDVHps
AllData公司负责人2 个月前
大数据·数据库·hive·mysql·kafka·实时同步
数据同步平台|AIIData数据中台实现MySQL、Hive、Kafka 一键接入Doris企业推进数字化转型过程中,普遍遭遇多源异构数据相互割裂形成数据孤岛、数据同步延迟偏高、配置操作依赖人工重复运维等难题。
李昊哲小课2 个月前
数据仓库·hive·数仓
Ubuntu26.04-Hadoop3.5.0搭建hive4.2.0登录MySQL修改MySQL密码登录MySQL后,修改现有用户的host修改MySQL配置文件找到并修改bind-address
AllData公司负责人2 个月前
大数据·数据库·人工智能·hive·mysql·oracle·数据分析
数据集成管理|AIIData数据中台实现MySQL、Hive、Oracle一键接入Doris在数字化转型中企业往往面临着多源异构数据孤岛、数据同步时效性差以及手动配置繁琐等痛点。如何高效、稳定地将各类数据汇聚至高性能分析型数据库,成为了构建企业级数据中台的关键。