技术栈
hadoop
不剪发的Tony老师
7 小时前
数据仓库
·
hadoop
·
分布式
Apache Hive:基于Hadoop的分布式数据仓库
Apache Hive 是一个基于 Apache Hadoop 构建的开源分布式数据仓库系统,支持使用 SQL 执行 PB 级大规模数据分析与查询。
想做富婆
8 小时前
数据仓库
·
hive
·
hadoop
hive的基础函数>>日期函数,字符串函数,杂项函数
返回: 函数名和函数使用方法返回: 函数名, 函数使用方法 和示例是yyyy-MM-dd hh24:mm:ss
杰瑞学AI
15 小时前
大数据
·
数据库
·
hive
·
hadoop
·
flink
·
spark
·
kafka
什么是流式处理,什么是批处理,以及这两者有什么关联和区别
流式处理(Stream Processing)和批处理(Batch Processing)是两种主要的数据处理模式,分别适用于不同的场景和需求。它们的核心区别在于对数据的处理时机和方式,但在实际应用中也可能结合使用。
小技工丨
1 天前
大数据
·
数据仓库
·
hive
·
hadoop
·
sql
Hive高频SQL及典型应用场景总结
场景 日志表按年月分区,提升查询效率(如按日期过滤时仅扫描特定分区)。高频操作:窗口函数、行列转换、条件聚合 典型场景:日志分析、用户分层、报表生成 优化重点:分区/分桶设计、避免全表扫描、合理使用存储格式(ORC/Parquet)
努力的搬砖人.
2 天前
java
·
hadoop
·
面试
Hadoop相关面试题
以下是150道Hadoop面试题及其详细回答,涵盖了Hadoop的基础知识、HDFS、MapReduce、YARN、HBase、Hive、Sqoop、Flume、ZooKeeper等多个方面,每道题目都尽量详细且简单易懂: Hadoop基础概念类 1. 什么是Hadoop? Hadoop是一个由Apache基金会开发的开源分布式计算框架,主要用于处理和存储大规模数据集。它提供了高容错性和高扩展性的分布式存储和计算能力,适用于大规模数据的批处理和分析。 2. Hadoop的核心组件有哪些? Hadoop的核
大白_dev
2 天前
hadoop
大数据环境搭建
目录一:虚拟机:VirtualBox二:Shell工具:MobaXterm三:安装脚本四:JDK和Hadoop
Hadoop_Liang
2 天前
linux
·
hive
·
hadoop
·
mysql
·
安装
·
openeuler
openEuler24.03 LTS下安装Hive3
目录前提条件安装MySQL卸载原有mysql及mariadb下载mysql解压mysql安装mysql
孤独打铁匠Julian
2 天前
linux
·
hadoop
·
ubuntu
【Linux】Ubuntu 24.04 LTS 安装 Hadoop-3.4.1
目录安装步骤一、下载Hadoop安装包二、安装Hadoop三、配置环境变量从清华大学软件镜像站下载压缩包:Index of /apache/hadoop/core。选择自己需要的版本,我这里选择了3.4.1
难以触及的高度
3 天前
数据仓库
·
hive
·
hadoop
Hive配置JDBC连接
Hive搭建完成后 可以配置JDBC连接1.修改Hadoop配置文件2.启动Hive的JDBC连接
wangzhongyudie
3 天前
数据仓库
·
hive
·
hadoop
Hive的分区分桶和数据抽样
分区表的本质就是对应HDFS文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive表的一个分区就是一个子目录。把一个大的数据集根据业务需要切分成一个个小的数据集,在查询时通过查询条件选择所需要的指定的分区,这样避免去扫描所有数据文件,大大提升查询的效率。
Shyllin
3 天前
大数据
·
hadoop
·
分布式
Hadoop Mismatched address stored in ZK for NameNode
NN切换active状态报错导致无法切换,报错如下
杜清卿
4 天前
大数据
·
服务器
·
hadoop
hadoop集群配置-scp拓展使用
任务1:在hadoop102上,将hadoop101中/opt/module/hadoop-3.1.3目录拷贝到hadoop102上。
we19a0sen
4 天前
linux
·
hadoop
·
分布式
在kali linux中配置hadoop伪分布式
原因:Hadoop集群依赖稳定的网络通信,动态IP可能导致节点失联。静态IP确保节点始终通过固定地址通信。
不开心就吐槽
4 天前
hadoop
Hadoop的安装
内存4G、硬盘50G一般Hadoop用普通用户进行安装useradd 用户名passwd 用户名 (回车设置密码)
ui设计前端开发老司机
5 天前
大数据
·
hive
·
hadoop
在大数据开发中hive是指什么?
hello宝子们...我们是艾斯视觉擅长ui设计和前端数字孪生、大数据、三维建模、三维动画10年+经验!希望我的分享能帮助到您!如需帮助可以评论关注私信我们一起探讨!致敬感谢感恩!
浩浩kids
5 天前
大数据
·
hadoop
Hadoop•常用命令
vim是vi编辑器的增强版输入export PATH=/bin:/usr/bin$PATH就行了,这种情况是因为环境变量有问题,可能是环境变量的字母打错了,回去检查一下哪里写错了,改好再初始化使改动后的生效就行了。
wenying_44323744
6 天前
hadoop
·
hdfs
·
eclipse
hadoop-HDFS操作
1. 使用的是hadoop的用户登录到系统,那么 cd ~ 是跳转到/home/hadoop下。2. 在操作hdfs时,需要在hadoop用户下的/usr/local/hadoop,此时是在根目录下。
Pilot-HJQ
6 天前
大数据
·
hadoop
·
笔记
·
学习
·
hbase
HBASE 的基础命令学习笔记
本篇文章主要是自己在学习 HBASE 的一些学习的笔记和心得,记录一下。目录第一个关于 namespace
窝窝和牛牛
6 天前
hive
·
hadoop
·
spark
Hive与Spark的UDF:数据处理利器的对比与实践
**用户自定义函数(UDF)**是大数据生态系统中扩展SQL功能的核心工具,它允许开发者突破内置函数的限制,实现复杂的业务逻辑。在数据处理中,标准函数往往难以满足特定业务场景的需求,此时UDF便成为数据工程师的得力助手。
星光璀璨山河无恙
6 天前
大数据
·
hadoop
·
分布式
【Hadoop】Hadoop的简要介绍
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,主要用于解决海量数据的存储及分析计算问题。以下是对Hadoop的详细介绍: