技术栈
hive
skywalk8163
3 天前
运维
·
人工智能
·
hive
hive 常驻集群:像 OSPF 一样在线,像 git 一样可信
面向:要在多台机器上长期跑 agent 的人。 读完你应该能回答三个问题:为什么还要一层集群?它什么时候说话算数?主节点挂了怎么办?
Francek Chen
4 天前
大数据
·
数据仓库
·
hive
·
hadoop
·
sql
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
skywalk8163
7 天前
运维
·
人工智能
·
hive
·
trae
卡不等于分支:我用 TRAE 宝配合 Hive 跑三张任务卡的一天
项目组有一套自建的 Hive,用来做任务发放与流转,网页端就能看板。它的基本单位是"卡":一张卡就是一个任务,卡上写死执行契约——允许修改哪些 paths、verify 命令是什么、租约多久、失败策略怎么走。
freejackman
8 天前
java
·
大数据
·
数据库
·
hive
·
sql
·
架构
·
spark
【架构篇】双遍历 + 多栈协同:手撸 SQL 血缘引擎的架构思考
在上一篇文章中,我们展示了 Hermes-SQL 最终的解析成果。但你可能不知道,刚接手 ANTLR4 的第一个星期,我差点因为一个极其反直觉的机制而放弃。
陈年老古董
8 天前
hive
·
笔记
·
学习
·
clickhouse
·
硬件架构
ClickHouse 单机搭建记录
最近需要 OLAP 场景验证,先搭建 ClickHouse 单机环境测试,整体部署难度不高,最容易踩坑的是端口冲突问题。使用一份卡口过车数据集在多款引擎上执行相同查询做对比,记录实操过程与使用感受。
陈年老古董
8 天前
hive
·
sql
·
spark
Spark 3.1.3 集群搭建 + Spark-SQL 整合 Hive 记录
承接上一篇 ClickHouse 部署笔记,本文记录 Linux 环境 Spark 3.1.3 集群部署,包含 Standalone、On Yarn 两种调度模式,以及 Spark-SQL 对接 Hive 元数据的实操配置。
FserSuN
8 天前
hive
·
hadoop
·
学习
Hive 分区表存储与查询优化学习总结
总体说明:本文起源于一个具体场景的推演——一张 Hive 表按天分区存日增量数据,每天不到 1000 条、30 个分区总共约 2000 条、十几 MB。从这个小场景出发,逐步梳理了 HDFS 文件存储机制、分区表的物理形态、小文件问题的真实边界,最终落到"日增量 + 周期性全量快照"的组合存储模式。核心收获是两条:一是性能问题必须钉住数据量级才有讨论价值,二是表结构设计本质上是在存储冗余与重建复杂度之间找平衡。
步行cgn
9 天前
xml
·
前端
·
hive
为什么既要 web.xml 又要 springmvc.xml?能不能只配一个?
这两个文件不属于同一个层级,管的事情完全不同:它们的关系,类似“公司大门门禁登记”和“部门内部规章制度”:
@小匠
10 天前
大数据
·
hive
·
flink
Flink + Iceberg 批量失败复盘:一次超时如何变成 Hive Metastore 锁泄漏
日期:2026-10-30本文是一次脱敏后的技术复盘,不包含业务名称、环境地址、凭据、库表名、作业名或数据内容。
skywalk8163
11 天前
人工智能
·
hive
·
分布式
hive —— 多机 AI Agent 协同的任务总线:分布式,多节点同时运行,保障不会宕机
repo:https://github.com/skywalk163/hive状态:活跃开发中,按任务卡迭代,变更记在 CHANGELOG.md。 hive 是自包含的工具,没有并入任何其它项目。「光明(LightLang)」是一门独立的 中文编程语言,与本项目无关——只是早期拿它的代码仓当过登记示例。
棣廷
12 天前
数据仓库
·
hive
·
hadoop
初识Hive(2)
在上一篇博客中,我们学习了Hive的基础架构、安装搭建以及基础的DDL(数据定义)和DML(数据操作)。我们知道了如何建表、如何加载数据、如何写简单的SQL。
skywalk8163
12 天前
人工智能
·
hive
·
agent
deepseek对skywalk163/hive 和hivecommons/hive 两个多机AI Agent任务调度项目的对比
deepseek对skywalk163/hive 和hivecommons/hive 两个多机AI Agent任务调度项目的对比
father_1227
13 天前
hive
·
hadoop
·
ambari
【ambari管理下hdp2.6.5升级hive1.2.1-2.1.0-2.3.3】
Ambari2.6.2+HDP2.6.5基础环境下,从ambari安装部署的hive的版本为1.2.1,而hdp2.6.5的官网支持包含着hive2.1.0
小刘在重生~
13 天前
hive
·
hadoop
·
servlet
Servlet_day2 (上)|Servlet 整合 JDBC|请求转发 forward|Request 作用域
上一节我们学习了 Servlet 基础开发、获取请求参数。 真实业务开发不会把 JDBC 数据库代码直接写死在 Servlet 类里面,需要做分层拆分;同时业务经常需要 Servlet 之间跳转、传递数据,就需要学习请求转发与request 作用域。
螺蛳粉 螺蛳粉
13 天前
hive
·
mysql5.7
·
centos7
·
元数据
·
cdh
·
oozie
·
数据库部署
CDH第四篇:CDH 元数据库实战:MySQL 5.7.22 二进制安装 + 三库三账号授权全记录
目录 一、CDH 为什么离不开 MySQL 二、步骤 1:清理 MariaDB 冲突 三、步骤 2:二进制方式安装 MySQL 5.7.22 四、步骤 3:三库三账号授权 五、常见报错与排错 六、结语与系列预告 一、CDH 为什么离不开 MySQL CM 体系里有三类元数据都要落库:
爱吃火鸡面呀
14 天前
hive
·
mysql
·
clickhouse
MySQL、ClickHouse、Doris、Hive、Spark SQL、Flink SQL 选型对比:优点、缺点与面试话术
中文解释:事务就是“要么全成、要么全败”的一组操作,比如转账扣钱和加钱必须一起成功。MySQL 能保证这个。
Francek Chen
18 天前
数据仓库
·
hive
·
hadoop
·
数据分析
·
impala
【大数据处理与分析】数据仓库Hive:08 Impala
【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
大鳥
19 天前
hive
·
sql
·
spark
·
json
JSON 解析最佳实践:从入门到生产级优化
大多数开发者对 JSON 解析的认知停留在**“能跑就行”**——数据取出来了,任务完成了,万事大吉。
泡干脆面就番茄
20 天前
大数据
·
数据仓库
·
hive
·
hadoop
Hive窗口函数:从原理到三大面试题
这是《Hive 从入门到实战》系列第 7 篇,也是含金量最高的一篇:窗口函数 + 行列转换 + 连续登录 + TopN,全是大厂 SQL 面试高频题。
程序员梅雨
20 天前
hive
·
hadoop
·
面试
Hive面试总结
一条HQL进来,第一步,先通过SQL Parser,把SQL字符串转成抽象语法树,同时做语义分析,然后语义分析器把抽象语法树编译成查询块, 第二步,结合MeteStore里的元数据校验表存不存在,字段存不存在, 第三步,生成逻辑执行计划,然后优化器按规则做一轮重写,比如把过滤条件下推,、把用不到的列裁掉、把常量表达式先算出来, 第四步,转成物理执行计划,拆成一个个MapReduce任务,决定用几个Map几个Reduce,这时候基于代价的优化器会算一笔账,从几种Join方案里挑代价最小的。 第五步,执行,生