技术栈
hive
Azoner
11 小时前
hive
·
hadoop
·
开源
开源组件hive调优
工具现象对应bugs目前解决方案详情hive3.1.2登录 · 扁鹊健康科技内存只升不降,最终进程挂断
houzhizhen
3 小时前
hive
Metastore 架构示意图和常用 SQL
使用以下sql 检索数据库 tpcds_bos_parquet_1000.web_site 表的所有字段。
※尘
8 小时前
数据仓库
·
hive
·
hadoop
Hive 存储格式深度解析:从 TextFile 到 ORC,如何选对数据存储方案?
在大数据处理领域,Hive 作为 Hadoop 生态中重要的数据仓库工具,其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式,很多开发者常常陷入选择困境。本文将从底层原理到实战场景,全面剖析 Hive 存储格式的奥秘,助你成为数据存储优化的高手。
2301_79306982
13 小时前
hive
·
hadoop
·
网络安全
·
spark
【术语解释】网络安全((SAST, DAST, SCA, IAST),Hadoop, Spark, Hive 的关系
## OWASP Top 10等OWASP Top 10:OWASP (Open Worldwide Application Security Project,开放全球应用程序安全项目) Top 10 是一份由全球安全专家定期更新的报告,列出了当前 Web 应用程序面临的十大最关键安全风险。 它是一个广受认可的意识文档,旨在帮助开发人员和安全专业人员识别和缓解常见的安全漏洞。
viperrrrrrrrrr7
1 天前
大数据
·
hive
·
学习
·
flink
·
spark
大数据学习(137)-大数据组件运行时角色
🍋🍋大数据学习🍋🍋🔥系列专栏: 👑哲学语录: 用力所能及,改变世界。 💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞
安审若无
1 天前
数据仓库
·
hive
·
hadoop
Hive的索引使用如何优化?
Hive作为基于Hadoop的数据仓库工具,其索引机制不同于传统数据库,主要通过建立数据映射关系减少数据扫描范围。索引的核心价值在于:
zh_19995
2 天前
大数据
·
hive
·
hadoop
·
架构
·
面试题
Hive面试题汇总
遇到这类问题,可以灵活的去回答,比如可以结合平时使用hive的经验作答,也可以结合下图从数据的读入、解析、元数据的管理,数据的存储等角度回答:
£菜鸟也有梦
3 天前
大数据
·
hive
·
hadoop
·
flume
Flume进阶之路:从基础到高阶的飞跃
目录一、Flume 高阶特性揭秘二、拦截器:数据的精细雕琢师2.1 拦截器的概念与作用2.2 常见拦截器类型及案例分析
Kookoos
3 天前
大数据
·
hive
·
sql
·
.net
·
abp vnext
ABP vNext + Hive 集成:多租户大数据 SQL 查询与报表分析
在中大型数据应用场景中,很多数据分析需要对 Hive 中的数据进行动态 SQL 分析和报表生成。同时,需要兼顾多租户隔离、安全和性能。
viperrrrrrrrrr7
4 天前
大数据
·
hive
·
学习
大数据学习(132)-HIve数据分析
🍋🍋大数据学习🍋🍋🔥系列专栏: 👑哲学语录: 用力所能及,改变世界。 💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞
社恐码农
4 天前
hive
·
hadoop
·
sql
Hive开窗函数的进阶SQL案例
开窗函数(Window Functions)在保留原始行数据的同时,对分组内的行进行聚合或排序分析,常用于累计计算、排名、移动平均等场景。与普通聚合函数(如SUM、AVG)的区别在于:
冬至喵喵
5 天前
大数据
·
数据仓库
·
hive
·
hadoop
【hive】函数集锦:窗口函数、列转行、日期函数
https://www.cnblogs.com/Uni-Hoang/p/17411313.html如果不指定 PARTITION BY,则不对数据进行分区,换句话说,所有数据看作同一个分区;
weixin_47233946
6 天前
数据仓库
·
hive
·
hadoop
Doris查询Hive数据:实现高效跨数据源分析的实践指南
#### 1. Doris与Hive的集成背景在大数据生态中,Hive作为基于Hadoop的数据仓库工具,广泛用于海量数据的批处理分析。而Apache Doris(原百度 Palo)是一种高性能、实时分析的MPP(大规模并行处理)数据库,擅长高并发、低延迟的查询场景。两者的结合能够实现以下目标:
神奇侠2024
7 天前
hive
·
hadoop
·
sql
Hive SQL常见操作
Hive SQL 是基于 Hadoop 的数据仓库基础设施,用于提供数据查询和分析。下面介绍常用的 Hive SQL 语句,进行数据处理和分析。
itachi-uchiha
7 天前
大数据
·
hive
·
docker
Docker部署Hive大数据组件
访问Hive的Docker Hub,使用说明中(apache/hive - Docker Image | Docker Hub),存在如下几种场景:
viperrrrrrrrrr7
7 天前
大数据
·
hive
·
学习
大数据学习(131)-Hive数据分析函数总结
🍋🍋大数据学习🍋🍋🔥系列专栏: 👑哲学语录: 用力所能及,改变世界。 💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞
qq_40841339
7 天前
hive
·
sql
·
spark
spark 执行 hive sql数据丢失
1.通过spark执行hive sql 的时候,发现 hive 四条数据,spark 执行结果只有两条数据 目标对应的两条数据丢失
yt94832
8 天前
ide
·
hive
·
spark
如何在IDE中通过Spark操作Hive
在IDE中通过Spark操作Hive是一项常见的任务,特别是在大数据处理和分析的场景中。本文将详细介绍如何在集成开发环境(IDE)中使用Apache Spark与Hive进行交互,包括必要的设置、代码示例以及详细解释。
viperrrrrrrrrr7
9 天前
大数据
·
hive
·
学习
大数据学习(129)-Hive数据分析
🍋🍋大数据学习🍋🍋🔥系列专栏: 👑哲学语录: 用力所能及,改变世界。 💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞
伍六星
9 天前
大数据
·
hive
·
hadoop
图片上传问题解决方案与实践
在校园二手交易平台中,上传商品图片后出现以下异常情况:注:实际部署时建议配合 Nginx 等反向代理服务器处理静态资源请求,提升系统性能与安全性。可参考以下 Nginx 配置示例: