技术栈
hive
PawSQL
11 小时前
大数据
·
hive
·
性能优化
十年磨一剑!Apache Hive 性能优化演进全史(2013 - )
曾记否,那些年等一个Hive查询结果等到“天荒地黑”的日子?作为Hadoop生态的SQL引擎核心,Apache Hive的性能表现,直接决定了数据仓库和分析的效率天花板。十年间,Hive社区厉兵秣马,在存储格式、执行引擎、优化器等核心层面进行了脱胎换骨的革新!今天,PawSQL团队带你穿越时空长廊,细数Hive各个版本中那些让大数据查询“飞起来”的关键性能优化特性。这不仅是一份技术演进记录,更是你理解Hive能力边界、制定升级策略、深度优化SQL 的宝贵参考!
越来越无动于衷
20 小时前
数据仓库
·
hive
·
hadoop
Spring Boot 整合 Spring MVC:自动配置与扩展实践
Spring MVC 作为 Java Web 开发的核心框架,在传统 SSM 项目中需要大量 XML 配置(如 DispatcherServlet、视图解析器等)。而 Spring Boot 通过 "自动配置" 特性,简化了 Spring MVC 的整合过程,同时保留了灵活的扩展能力。本文将从自动配置原理、扩展方式、组件注册等方面,结合实例详解 Spring Boot 与 Spring MVC 的整合实践。
君不见,青丝成雪
2 天前
大数据
·
数据库
·
数据仓库
·
hive
·
sql
Hadoop技术栈(四)HIVE常用函数汇总
-- 当前前日期select current_date;select unix_timestamp();
yatingliu2019
3 天前
hive
·
笔记
·
sql
·
学习
HiveQL | 个人学习笔记
资料很少,整理一下能用到的。HiveQL 和 Hive SQL 通常指的是同一个东西,都是指 Hive Query Language 的缩写或简称。
步行cgn
5 天前
前端
·
hive
·
html
在 HTML 表单中,name 和 value 属性在 GET 和 POST 请求中的对应关系如下:
在 HTML 表单中,name 和 value 属性在 GET 和 POST 请求中的对应关系如下:当使用 method="get" 时:
喂完待续
5 天前
大数据
·
数据仓库
·
hive
·
hadoop
·
sql
·
apache
【Tech Arch】Hive技术解析:大数据仓库的SQL桥梁
Hive作为Apache顶级项目,是Hadoop生态系统中最具影响力的SQL查询引擎,它解决了大数据处理与传统SQL技能之间的鸿沟。Hive的核心价值在于将类SQL查询语言HiveQL无缝转换为分布式计算框架MapReduce的任务,使数据分析师能够利用熟悉的SQL语法操作Hadoop中的海量数据,无需掌握复杂的MapReduce编程模型。本文将从Hive的基本概念、架构设计、工作原理到实际应用场景进行全面解析,帮助技术开发人员深入了解这一大数据处理工具。
beijingliushao
8 天前
hive
·
hadoop
·
sql
33-Hive SQL DML语法之查询数据-2
让头发掉下来
8 天前
大数据
·
hive
·
hadoop
Hive 创建事务表的方法
Hive 从 0.13 版本开始支持事务(ACID)功能,但完整的事务支持是在 Hive 3.0 及更高版本中实现的。以下是创建和使用 Hive 事务表的详细方法。
W.A委员会
9 天前
数据仓库
·
hive
·
hadoop
·
spring
SpringMVC
可以用于替代Servlet,也就是Servlet能做的SpringMVC都能做最新的spring控制层传参的时候如果参数是从url获取的,都要用参数注解注明参数名便于获取,区分各种类型的参数注解
王小王-123
9 天前
大数据
·
hive
·
hadoop
·
flume
·
hadoop农产品价格分析
·
农产品批发价格
·
农产品价格预测
基于Hadoop的全国农产品批发价格数据分析与可视化与价格预测研究
随着我国农业数字化进程的加快,农产品批发市场每天都会产生海量的价格数据,这些数据涵盖了丰富的时空、品类和价格信息。然而,传统的处理方式在应对大规模、动态性强的数据时,往往存在计算速度慢、扩展性不足、分析维度有限等问题,难以满足政府、市场与生产者对实时监测与深度挖掘的需求。针对这一现状,本项目依托 Hadoop 生态体系,构建了一套集数据采集、存储、处理、分析和可视化于一体的分布式农产品价格分析平台,为农业经济决策与市场调控提供技术支持。
beijingliushao
12 天前
数据仓库
·
hive
·
apache
30-Hive SQL-DML-Load加载数据
シ風箏
12 天前
数据库
·
hive
·
hadoop
Hive【应用 04】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
2.10 加载数据到表
hrrrrb
13 天前
hive
·
spring boot
·
后端
【Spring Boot 快速入门】八、登录认证(二)统一拦截
Filter 是 Java Web 三大组件之一,另外两个是 Servlet 和 Listener(监听器),目前 Filter 使用较多。
伴生伴熟
14 天前
hive
·
拆分
·
日期
hive-日期拆分为多行
代码结果
beijingliushao
14 天前
数据库
·
hive
·
sql
32-Hive SQL DML语法之查询数据
案例:在数据集中有一份数据文件《us-covid19-counties.dat》,里面记录了2021-01-28美国各个县累计新冠确诊病例数和累计死亡病例数。
weixin_30777913
14 天前
开发语言
·
数据仓库
·
hive
·
c#
C#实现Hive到Snowflake数据迁移
配置文件示例 (App.config):程序功能说明:Hive DDL导出:数据导出(Parquet格式):
beijingliushao
14 天前
数据仓库
·
hive
·
hadoop
27-数据仓库与Apache Hive-2
大数据数仓领域,很多软件都会去支持SQL语法 1.学习sql成本低 2.sql语言对于数据分析非常友好
beijingliushao
14 天前
数据仓库
·
hive
·
apache
31-数据仓库与Apache Hive-Insert插入数据
hive 官方推荐第三种方式 !!!
小戈爱学习
16 天前
hive
·
hadoop
·
hbase
CDP集群中通过Hive外部表迁移HBase数据的操作记录
在CDP(Cloudera Data Platform)集群中,通过创建Hive外部表映射HBase表,实现HBase表数据的查询与迁移,验证该方式的可行性与数据一致性。
随心............
16 天前
数据仓库
·
hive
·
hadoop
hive专题面试总结2
将最大的表放置在join语句的最右边,或直接使用/* + streamtable(table_name) */指出哪个表采用流式传输,如果省略streamtable提示,则hive将流式传输最右边的表。在编写带有join操作的代码语句时,应该将条目少的表/子循环放在join操作符的左边。因为在reduce阶段,位于join操作符左边的表的内容会被加载进内存,载入条目较少的表可以有效减少OOM(out of memory)即内存溢出。所以对于同一个key来说,对应的value值小的放前,大的放后,这便是“小