hadoop

小技工丨1 小时前
数据仓库·hive·hadoop
Hive-03之传参、常用函数、explode、lateral view、行专列、列转行、UDFhive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S]
服务端相声演员7 小时前
大数据·linux·hadoop
Hadoop管理页看不到任务的问题这个yarn分配任务了但是为空在$HADOOP_HOME/conf/mapred-site.xml原来的配置文件基础之上添加:
梦醒沉醉9 小时前
数据仓库·hive·hadoop
Beeline的使用和Hive JDBC尽管Hadoop和HBase都提供了对应的启动和停止脚本,但是启动的过程都很繁琐。而Hive没有提供对应的启动和停止脚本,因此它的启动和停止比Hadoop和HBase更加困难。下面将展示如何把Hadoop、HBase和Hive配置成系统服务,然后通过service name start[/stop]进行启停。   创建Hadoop、HBase、Hive服务脚本的命令:
跳跳的向阳花1 天前
hadoop·yarn·概念
06、Hadoop3.x从入门到放弃,第六章:Yarn基本概念与操作【容量调度器分配算法】【什么是缺额】【公平调度器分配算法】【DRF策略】
嗯.~2 天前
hadoop
编辑器的使用vi编辑器:是 Linux 和 Unix 系统中一个经典的文本编辑器,功能强大但学习曲线较陡。它的改进版本 vim(Vi IMproved)提供了更多功能,如语法高亮、多级撤销等。以下是 vi 和 vim 的基本使用方法。 1. 启动 vi 或 vim - 打开文件: vi filename vim filename - 如果文件不存在,vi 或 vim会创建一个新文件。 2. vi 的三种模式 vi 有三种主要模式,每种模式下可以执行不同的操作: 1. 命令模式(Command Mode): - 启动
我要用代码向我喜欢的女孩表白2 天前
数据仓库·hive·hadoop
迁移过程中,hive元数据字段校对有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。
小技工丨3 天前
数据仓库·hive·hadoop
Hive-08之数据仓库之建模、分析英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。
爱编程的王小美3 天前
数据仓库·hive·hadoop
Hive基础Hive是一款apache旗下的基于MapReduce的分布式SQL计算工具,其功能是:Hive组件hive是单机运行的,只需要部署在一台服务器即可,同时,它可以提交分布式运行的MapReduce程序运行
Arbori_262153 天前
大数据·数据仓库·hive·hadoop
hive 面试题基于Hadoop的数据仓库工具,支持类SQL(HiveQL)查询,底层转换为MapReduce/Tez/Spark任务。
sunxunyong3 天前
数据仓库·hive·hadoop
.hive-staging_hive临时文件处理.hive-staging_hive临时文件不删除原因: 通过spark-sql、hive-sql、hue等提交select或者insert overwrite等sql到hive时,会产生该目录,用于临时存放执行结果,比如insert overwrite会将结果暂存到该目录下,待任务结束,将结果复制到hive表中。hql任务执行失败时,这些临时文件和目录不会被自动删除掉,直到有相关的hql执行成功时,才会自动删掉。
web_132334214363 天前
hadoop·hdfs·架构
深入解析HDFS:定义、架构、原理、应用场景及常用命令Hadoop分布式文件系统(HDFS,Hadoop Distributed File System)是Hadoop框架的核心组件之一,它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。本文将从HDFS的定义、架构、工作原理、应用场景以及常用命令等多个方面进行详细探讨,帮助读者全面深入地了解HDFS。
小技工丨3 天前
数据仓库·hive·hadoop
Hive-05之查询 分组、排序、case when、 什么情况下Hive可以避免进行MapReduce重命名一个列案例实操Group By 语句通常会和聚合函数一起使用,按照一个或者多个列队结果进行分组,然后对每个组执行聚合操作。
B站计算机毕业设计超人3 天前
大数据·hadoop·spark·网络爬虫·知识图谱·课程设计·推荐算法
计算机毕业设计Hadoop+Spark+DeepSeek-R1大模型音乐推荐系统 音乐数据分析 音乐可视化 音乐爬虫 知识图谱 大数据毕业设计温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
小技工丨3 天前
数据仓库·hive·hadoop
Hive-06之函数 聚合Cube、Rollup、窗口函数内容较多,见《Hive官方文档》https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
小技工丨3 天前
数据仓库·hive·hadoop·调优
Hive-07之企业级调优Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算在hive-default.xml.template文件中 hive.fetch.task.conversion默认是more,老版本hive默认是minimal,该属性修改为more以后,在全局查找、字段查找、limit查找等都不走mapreduce。
小技工丨4 天前
hive·hadoop·架构
Hive-01之数仓、架构、数据类型、DDL、内外部表英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。
P7进阶路4 天前
大数据·hadoop·分布式
【分布式】Hadoop完全分布式的搭建(零基础)Hadoop完全分布式的搭建环境准备:(1)VMware Workstation Pro17(其他也可)
爱编程的王小美4 天前
linux·hadoop·ubuntu
Ubuntu从零创建Hadoop集群目录前言前提准备1.设置网关和网段2.查看虚拟机IP及检查网络3.Ubuntu相关配置镜像源配置下载 vim编辑器
云半S一4 天前
数据仓库·hive·hadoop
自动化测试开发javax.servlet.Servlet 接口,在类中实现javax.servlet.Servlet 接口中的方法
渗透测试老鸟-九青5 天前
网络·数据仓库·hive·hadoop·安全·网络安全·漏洞
基于Electron的应用程序安全测试基础 — 提取和分析.asar文件的案例研究目录:4.4. 案例研究4.4.2. 情况描述4.4.3. 信息收集4.4.3.2. 检查隐藏目录(点目录)的可能性