技术栈
hadoop
TTBIGDATA
7 小时前
大数据
·
运维
·
hadoop
·
ambari
·
hdp
·
cdh
·
bigtop
【Ambari Plus】15.Livy 安装
Livy 是 Spark 的 REST 服务入口。它不会替代 Spark History Server,也不会自己负责资源调度;它的作用更像一个网关:外部系统通过 HTTP 提交 Spark Session、Statement 或批任务,Livy 再把任务交给 Spark on YARN。
李昊哲小课
8 小时前
hadoop
·
hbase
Ubuntu26.04-Hadoop3.5.0搭建Hbase2.6.6集群
启动zookeeper和hadoop完整可以不配置http://lihaozhe01:16010/http://lihaozhe02:16010/
我登哥MVP
9 小时前
java
·
大数据
·
hadoop
·
分布式
·
云原生
·
云计算
Hadoop成长史-从Nutch子项目到大数据生态王者
2003 年,Google 发表了三篇论文。一个叫 Doug Cutting 的程序员读后灵光一现,于是他写了一个开源项目。谁也想不到,这个项目日后会成为大数据时代的"操作系统"。
我登哥MVP
10 小时前
java
·
hadoop
·
hdfs
·
云原生
·
云计算
HDFS硬核拆解-读写Pipeline与Java实战
你有一个 10TB 的文件,单机存不下怎么办?答案是:把它切成小块,分散存储在多台机器上。但这又带来了新问题——如何保证数据不丢?如何找到我需要的数据?HDFS 就是为此而生的。
ljs648273951
11 小时前
大数据
·
hadoop
·
hdfs
VMware 中部署 HDFS 集群环境(Hadoop 3.4.3)完整指南
本文详细记录从零开始在 VMware 虚拟机中搭建 3 节点 Hadoop HDFS 分布式文件系统集群的全过程,基于 CentOS 系统,Hadoop 版本 3.4.3。
sunxunyong
1 天前
大数据
·
hadoop
·
分布式
Hadoop租户创建
#获取密码 slappasswd -h {md5} -s “1@W” {MD5}ZHwdpWVRamv4adg==
斯文的八宝粥
1 天前
大数据
·
hadoop
·
wpf
WPF企业内训全程实录(下)
WPF企业内训全程实录由于文章比较长,所以一共拆分成了三篇,上篇WPF企业内训全程实录(上)主要讲了基础,中篇WPF企业内训全程实录(中)主要讲解开发模式、团队协作及应用框架,起着承上启下的作用,主要讲解开发模式、团队协作及应用框架。这篇作为该实录的下篇——终结篇,起着总结的作用,主要讲解其他技术的引用、WPF项目及性能优化、部署与更新等议题。
Zhu758
1 天前
大数据
·
hadoop
·
分布式
使用腾讯CNB构建Hadoop定制容器镜像
使用腾讯CNB构建Apache Hadoop容器镜像, 文中文件在https://cnb.cool/zhudev-2025/apache-hadoop-dev
TTBIGDATA
1 天前
大数据
·
hadoop
·
分布式
·
spark
·
ambari
·
sqoop
·
ambari plus
【Ambari Plus】13.Spark 安装
Spark 是批处理、SQL、流处理和机器学习场景里很常用的计算引擎。本篇在已经安装 HDFS、YARN、Hive、Flink、Kafka 的基础上继续安装 Spark。
泰克教育官方账号
1 天前
数据仓库
·
hive
·
hadoop
泰涨知识 | Hive集群环境部署
Hive是什么Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
心中有国也有家
2 天前
hive
·
hadoop
·
学习
·
flutter
·
华为
·
harmonyos
E-Brufen 技术选型全景:Flutter + 鸿蒙 + Hive CE
数据流示意:背景:HarmonyOS 原生开发使用 ArkTS + ArkUI,而 Flutter 通过其鸿蒙引擎提供了一条跨平台路径。
DataPulse*
3 天前
hive
·
hadoop
·
硬件架构
Hive常用参数调优十二板斧
一般情况下,Limit语句还是需要执行整个查询语句,然后再返回部分结果。有一个配置属性可以开启,避免这种情况---对数据源进行抽样。
TTBIGDATA
3 天前
hive
·
hadoop
·
flink
·
ambari
·
hdp
·
cdh
·
bigtop
【Ambari Plus】12.Flink 安装
Flink 在这套环境里主要接入 YARN 运行。安装时会部署 FLINK_HISTORYSERVER 和 FLINK_CLIENT,HistoryServer 用来看已完成作业,Client 用来提交 Flink 任务。
AllData公司负责人
3 天前
大数据
·
数据库
·
数据仓库
·
人工智能
·
hive
·
hadoop
·
开源
AIIData数据中台集成OpenMetadata开源项目,成功运行Hive数据血缘拾取任务,支持库级别+表级别+字段级血缘!
AIIData数据中台集成OpenMetadata构建元数据管理平台,可快速对接Hive数据源,自动抽取表级与字段级数据血缘关系,全景还原数据流转全链路。通过统一企业元数据标准口径,能够有效压降数据治理成本,大幅提升数据溯源与故障排查效率。
2601_96234130
3 天前
java
·
大数据
·
开发语言
·
hadoop
·
python
·
考研
·
课程设计
计算机毕业设计之jsp考研在线复习平台
近年来,科技飞速发展,在经济全球化的背景之下,互联网技术将进一步提高社会综合发展的效率和速度,互联网技术也会涉及到各个领域,而考研在线复习平台在网络背景下有着无法忽视的作用。信息管理系统的开发是一个不断优化的过程,随着网络数据时代的到来,信息管理系统与计算机的集成成为必然。
阿坤带你走近大数据
8 天前
大数据
·
hadoop
·
flink
·
kafka
大数据中的各种场景数据倾斜的介绍
数据倾斜的本质是分布式系统中负载分配不均。在理想的分布式计算中,数据应均匀分摊到各个节点;但在现实中,往往会变成“一个人干完所有人活,其他人都在等”。
TTBIGDATA
7 天前
大数据
·
hadoop
·
ambari
·
hdp
·
cdh
·
bigtop
·
ambari plus
【Ambari Plus】06.MapReduce2 安装
MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARN 和 MapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。
TTBIGDATA
5 天前
大数据
·
运维
·
hadoop
·
ambari
·
hdp
·
cdh
·
bigtop
【Ambari Plus】10.HBase 安装
HBase 是基于 HDFS 的分布式列式存储,安装前必须先保证 HDFS 和 ZooKeeper 已经正常运行。我的安装顺序是先完成 HDFS、YARN、Tez、Hive、Sqoop,再安装 HBase;这样 HBase 后续和 Hive、Phoenix、Ranger 的联动会更顺。
TTBIGDATA
5 天前
大数据
·
hadoop
·
分布式
·
kafka
·
ambari
·
hdp
·
ambari plus
【Ambari Plus】11.Kafka 安装
Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper,本篇环境已经提前安装并启动了三节点 ZooKeeper,所以可以直接进入 Kafka 安装。
李昊哲小课
5 天前
大数据
·
hadoop
·
分布式
·
ubuntu
·
hdfs
·
mapreduce
Ubuntu26.04 搭建 Hadoop3.5.0 完全分布式
nodejs python scala maven 是为 其他集群和开发环境准备的 如果只是搭建hadoop集群可以忽略