hadoop

TTBIGDATA7 小时前
大数据·运维·hadoop·ambari·hdp·cdh·bigtop
【Ambari Plus】15.Livy 安装Livy 是 Spark 的 REST 服务入口。它不会替代 Spark History Server,也不会自己负责资源调度;它的作用更像一个网关:外部系统通过 HTTP 提交 Spark Session、Statement 或批任务,Livy 再把任务交给 Spark on YARN。
李昊哲小课8 小时前
hadoop·hbase
Ubuntu26.04-Hadoop3.5.0搭建Hbase2.6.6集群启动zookeeper和hadoop完整可以不配置http://lihaozhe01:16010/http://lihaozhe02:16010/
我登哥MVP9 小时前
java·大数据·hadoop·分布式·云原生·云计算
Hadoop成长史-从Nutch子项目到大数据生态王者2003 年,Google 发表了三篇论文。一个叫 Doug Cutting 的程序员读后灵光一现,于是他写了一个开源项目。谁也想不到,这个项目日后会成为大数据时代的"操作系统"。
我登哥MVP10 小时前
java·hadoop·hdfs·云原生·云计算
HDFS硬核拆解-读写Pipeline与Java实战你有一个 10TB 的文件,单机存不下怎么办?答案是:把它切成小块,分散存储在多台机器上。但这又带来了新问题——如何保证数据不丢?如何找到我需要的数据?HDFS 就是为此而生的。
ljs64827395111 小时前
大数据·hadoop·hdfs
VMware 中部署 HDFS 集群环境(Hadoop 3.4.3)完整指南本文详细记录从零开始在 VMware 虚拟机中搭建 3 节点 Hadoop HDFS 分布式文件系统集群的全过程,基于 CentOS 系统,Hadoop 版本 3.4.3。
sunxunyong1 天前
大数据·hadoop·分布式
Hadoop租户创建#获取密码 slappasswd -h {md5} -s “1@W” {MD5}ZHwdpWVRamv4adg==
斯文的八宝粥1 天前
大数据·hadoop·wpf
WPF企业内训全程实录(下)WPF企业内训全程实录由于文章比较长,所以一共拆分成了三篇,上篇WPF企业内训全程实录(上)主要讲了基础,中篇WPF企业内训全程实录(中)主要讲解开发模式、团队协作及应用框架,起着承上启下的作用,主要讲解开发模式、团队协作及应用框架。这篇作为该实录的下篇——终结篇,起着总结的作用,主要讲解其他技术的引用、WPF项目及性能优化、部署与更新等议题。
Zhu7581 天前
大数据·hadoop·分布式
使用腾讯CNB构建Hadoop定制容器镜像使用腾讯CNB构建Apache Hadoop容器镜像, 文中文件在https://cnb.cool/zhudev-2025/apache-hadoop-dev
TTBIGDATA1 天前
大数据·hadoop·分布式·spark·ambari·sqoop·ambari plus
【Ambari Plus】13.Spark 安装Spark 是批处理、SQL、流处理和机器学习场景里很常用的计算引擎。本篇在已经安装 HDFS、YARN、Hive、Flink、Kafka 的基础上继续安装 Spark。
泰克教育官方账号1 天前
数据仓库·hive·hadoop
泰涨知识 | Hive集群环境部署Hive是什么Hive是由Facebook开源,基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。
心中有国也有家2 天前
hive·hadoop·学习·flutter·华为·harmonyos
E-Brufen 技术选型全景:Flutter + 鸿蒙 + Hive CE数据流示意:背景:HarmonyOS 原生开发使用 ArkTS + ArkUI,而 Flutter 通过其鸿蒙引擎提供了一条跨平台路径。
DataPulse*3 天前
hive·hadoop·硬件架构
Hive常用参数调优十二板斧一般情况下,Limit语句还是需要执行整个查询语句,然后再返回部分结果。有一个配置属性可以开启,避免这种情况---对数据源进行抽样。
TTBIGDATA3 天前
hive·hadoop·flink·ambari·hdp·cdh·bigtop
【Ambari Plus】12.Flink 安装Flink 在这套环境里主要接入 YARN 运行。安装时会部署 FLINK_HISTORYSERVER 和 FLINK_CLIENT,HistoryServer 用来看已完成作业,Client 用来提交 Flink 任务。
AllData公司负责人3 天前
大数据·数据库·数据仓库·人工智能·hive·hadoop·开源
AIIData数据中台集成OpenMetadata开源项目,成功运行Hive数据血缘拾取任务,支持库级别+表级别+字段级血缘!AIIData数据中台集成OpenMetadata构建元数据管理平台,可快速对接Hive数据源,自动抽取表级与字段级数据血缘关系,全景还原数据流转全链路。通过统一企业元数据标准口径,能够有效压降数据治理成本,大幅提升数据溯源与故障排查效率。
2601_962341303 天前
java·大数据·开发语言·hadoop·python·考研·课程设计
计算机毕业设计之jsp考研在线复习平台近年来,科技飞速发展,在经济全球化的背景之下,互联网技术将进一步提高社会综合发展的效率和速度,互联网技术也会涉及到各个领域,而考研在线复习平台在网络背景下有着无法忽视的作用。信息管理系统的开发是一个不断优化的过程,随着网络数据时代的到来,信息管理系统与计算机的集成成为必然。
阿坤带你走近大数据8 天前
大数据·hadoop·flink·kafka
大数据中的各种场景数据倾斜的介绍数据倾斜的本质是分布式系统中负载分配不均。在理想的分布式计算中,数据应均匀分摊到各个节点;但在现实中,往往会变成“一个人干完所有人活,其他人都在等”。
TTBIGDATA7 天前
大数据·hadoop·ambari·hdp·cdh·bigtop·ambari plus
【Ambari Plus】06.MapReduce2 安装MapReduce2 在这套安装流程里不是单独再开一个向导安装,而是在选择 YARN 时被自动纳入依赖。页面会显示本次安装同时处理 YARN 和 MapReduce2,所以这一篇重点讲 MapReduce2 在同一向导里的角色分配和安装后确认。
TTBIGDATA5 天前
大数据·运维·hadoop·ambari·hdp·cdh·bigtop
【Ambari Plus】10.HBase 安装HBase 是基于 HDFS 的分布式列式存储,安装前必须先保证 HDFS 和 ZooKeeper 已经正常运行。我的安装顺序是先完成 HDFS、YARN、Tez、Hive、Sqoop,再安装 HBase;这样 HBase 后续和 Hive、Phoenix、Ranger 的联动会更顺。
TTBIGDATA5 天前
大数据·hadoop·分布式·kafka·ambari·hdp·ambari plus
【Ambari Plus】11.Kafka 安装Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper,本篇环境已经提前安装并启动了三节点 ZooKeeper,所以可以直接进入 Kafka 安装。
李昊哲小课5 天前
大数据·hadoop·分布式·ubuntu·hdfs·mapreduce
Ubuntu26.04 搭建 Hadoop3.5.0 完全分布式nodejs python scala maven 是为 其他集群和开发环境准备的 如果只是搭建hadoop集群可以忽略