技术栈
hive
Yz9876
24 分钟前
大数据
·
数据仓库
·
hive
·
hadoop
·
hdfs
·
数据库开发
·
big data
Hive分桶超详细!!!
数据分区可能导致有些分区,数据过多,有些分区,数据极少。分桶是将数据集分解为若干部分(数据文件)的另一种技术。
Francek Chen
28 分钟前
大数据
·
数据仓库
·
hive
·
hadoop
·
分布式
【大数据技术基础 | 实验十一】Hive实验:新建Hive表
Hive没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织Hive中的表,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据。
哇咔咔哇咔
10 小时前
hive
·
hadoop
·
笔记
Hive基础笔记
ubuntukylin-22.04.1安装Hive、MySQL、配置Hive及Hive连接MySQL操作
浊酒南街
1 天前
hive
·
udf
Hive自定义UDF函数
UDF全称:User-Defined Functions,即用户自定义函数,在Hive SQL编译成MapReduce任务时,执行java方法,类似于像MapReduce执行过程中加入一个插件,方便扩展。
march of Time
1 天前
hive
·
mongodb
·
hbase
hbase mongodb hive starrocks比较
本文是在学习大数据的几个数据存储系统相关的组件所记录下来的,主要是不同组件的基础概念初步了解与对比。在大数据时代,虽然RDBMS很优秀,但是面对快速增长的数据规模和日渐复杂的数据模型,RDBMS渐渐力不从心,无法应对很多数据库处理任务,这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚跟。Nosql无需实现为数据定义一个模式,可以更灵活地适配各种数据。
武子康
2 天前
java
·
大数据
·
数据仓库
·
hive
·
hadoop
·
架构
·
flume
大数据-227 离线数仓 - Flume 自定义拦截器(续接上节) 采集启动日志和事件日志
目前开始更新 MyBatis,一起深入浅出!上节我们完成了如下的内容:(续接上节,上节已经到了打包的部分)
csdnfanguyinheng
2 天前
hive
hive 统计各项目下排名前5的问题种类
实现指定某项目下的数据效果图如下所示: 其中 ABCDE 为前5名的问题种类,其中A问题有124个(出现了124次)
Yz9876
3 天前
大数据
·
数据仓库
·
hive
·
hadoop
·
数据库开发
·
big data
hive-内部表&外部表-详细介绍
内部表:表面来看,我们建的所有的表,默认都是内部表,内部表又叫做管理表,它的位置也很固定/user/hive/warehouse下面。
Yz9876
3 天前
大数据
·
数据仓库
·
hive
·
hadoop
·
bigdata
Hive的数据导出
数据导出的分类:1. 从hive表中导出本地文件系统中(目录、文件)2. 从hive表中导出hdfs文件系统中
宅博士小陈
3 天前
数据仓库
·
hive
·
hadoop
Servlet入门 Servlet生命周期 Servlet体系结构
Servlet (server applet) 是运行在服务端(tomcat)的Java小程序,是sun公司提供一套定义动态资源规范; 从代码层面上来讲Servlet就是一个接口 狭义的Servlet是指Java语言编写的一个接口。 广义的Servlet是指任何实现了这个Servlet接口的类,一般情况下,人们将Servlet理解为后者。 Servlet作用:用来接收和处理客户端请求、响应给浏览器的动态资源。
花菜回锅肉
4 天前
大数据
·
数据仓库
·
hive
·
hadoop
基于Hadoop、hive的数仓搭建实践
基于HDFS + Hive+mysql搭建离线数仓,最终效果能够通过可视化界面访问数仓数据其中,1 hive 服务包括 metastore元数据 服务和 hiveserver2服务
GDRetop
4 天前
hive
·
hadoop
·
spark
mac2019环境 Airflow+hive+spark+hadoop本地环境安装
本地安装可分为两个部分,mac软件环境, python开发环境 ps: 安装过程参考chatgpt、csdn文章
B站计算机毕业设计超人
4 天前
hive
·
hadoop
·
爬虫
·
深度学习
·
机器学习
·
spark
·
数据可视化
计算机毕业设计Hive+Spark空气质量预测 空气质量可视化 空气质量分析 空气质量爬虫 Hadoop 机器学习 深度学习 Django 大模型
温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
武子康
5 天前
java
·
大数据
·
数据仓库
·
hive
·
hadoop
·
数据挖掘
·
flume
大数据-226 离线数仓 - Flume 优化配置 自定义拦截器 拦截原理 了 拦截器实现 Java
目前开始更新 MyBatis,一起深入浅出!上节我们完成了如下的内容:Flume 是一种分布式、可靠且高效的数据收集、聚合和传输系统,广泛应用于大数据生态系统中。为了提升 Flume 的性能和稳定性,优化配置至关重要。
Francek Chen
5 天前
大数据
·
数据仓库
·
hive
·
hadoop
·
分布式
【大数据技术基础 | 实验十】Hive实验:部署Hive
Hive是Hadoop 大数据生态圈中的数据仓库,其提供以表格的方式来组织与管理HDFS上的数据、以类SQL的方式来操作表格里的数据,Hive的设计目的是能够以类SQL的方式查询存放在HDFS上的大规模数据集,不必开发专门的MapReduce应用。
明天,今天,此时
5 天前
数据仓库
·
hive
Hive的map/struct/array怎么通过insert插入数据
hive在高级使用语法时,会遇到map/struct/array等操作。但是我们只需想测试某几种数据,不想搞得麻烦通过定义数据文件,然后创建数据结构,再导入这一系列流程,就为验证一个感觉很简单的问题。于是想简化这个步骤,直接创建一个不用定义数据row format的表,然后insert 数据,查看是否有效就行。这里特意为这这个实现写下此文方便查看。
Yz9876
6 天前
大数据
·
linux
·
数据仓库
·
hive
·
hadoop
·
bigdata
Hive基础
标识符规则:大小写规则: 1. hive的数据库名、表名都不区分大小写 2. 建议关键字大写 命名规则: 1. 名字不能使用数字开头 2. 不能使用关键字 3. 尽量不使用特殊符号
脸ル粉嘟嘟
6 天前
linux
·
hive
·
oracle
常用命令之Linux&Oracle&Hive&Python
配置表结构代码
脸ル粉嘟嘟
6 天前
大数据
·
hive
·
hadoop
大数据CDP集群中Impala&Hive常见使用语法
浊酒南街
7 天前
数据仓库
·
hive
·
hadoop
hive中map_concat函数介绍
在 Apache Hive 中,map_concat() 函数用于将两个 Map 类型的列合并成一个新的 Map 类型的列。它的语法如下: