hadoop

爱吃面的猫32 分钟前
大数据·hadoop·flume
大数据Hadoop之——集群环境搭建(了解)目录前期准备一、JDK的安装1、安装jdk2、配置Java环境变量3、加载环境变量4、进行校验二、hadoop的环境搭建
一路向北finish3 小时前
大数据·linux·运维·服务器·hadoop·openstack
《Hadoop 高可用集群与 OpenStack Mitaka 控制节点部署全流程实操排坑指南》本次实操分为两大模块:先基于ZooKeeper搭建三节点协调集群,在此基础上完成HDFS HA与YARN HA全栈高可用部署,并验证自动故障切换;后半段从零搭建OpenStack Mitaka控制节点基础环境,完成数据库、消息队列等依赖服务部署,以及Keystone身份服务全流程验证。全程踩坑不少,下面按操作顺序完整复盘。
insertYam3 小时前
大数据·hadoop·架构
[hadoop高可用架构]Hadoop 、jdk、zookeeper程序使用nfs共享同步配置文件软件版本:hadoop-3.3.6.tar.gz
hopsky4 小时前
数据仓库·hive·hadoop
《Hive性能调优实战》核心内容详细解读(作者:林志煌,机械工业出版社,2020年出版,ISBN:9787111644323)《Hive性能调优实战》是一本关于Apache Hive调优的专业书籍,旨在介绍如何进行Hive性能调优,以及调优时所涉及的工具。书中重点介绍了Hive性能调优所涉及的Hadoop组件和Hive工具。这是一本实战导向的技术书籍,作者林志煌曾在中国互联网头部公司长期从事大数据相关项目的研发,经手过日数据流量TB级别和总量PB级别的Hadoop大数据平台建设,具有丰富的生产环境经验。
-今昭-2 天前
运维·hadoop·hdfs·负载均衡
Hadoop HDFS 高可用实战指南目录ZooKeeper 集群部署指南1. 环境准备与规划2. 软件安装与配置3. 集群节点配置4. 启动集群与状态验证
一路向北finish3 天前
linux·运维·hadoop·分布式·centos
《CentOS 7 搭建 Hadoop 3.3.6 分布式集群:NFS 共享方案完整实操》这次实操从头到尾把 Hadoop 3.3.6 从单节点伪分布式,一步步扩容到三节点完全分布式集群,中间踩了好几个经典的入门坑——主机名解析失败、jps 命令找不到、NFS 权限不对、集群 ID 不一致等等。全程采用 NFS 共享 /home/hadoop 目录的方式同步安装包与配置文件,省了大量重复拷贝的功夫。这里把完整流程和踩坑排错的过程都记录下来,既方便自己复盘,也给刚入门的同学避避坑。
BYSJMG3 天前
大数据·hadoop·分布式·信息可视化·数据分析·课程设计
大数据毕业设计选题方向|【基于大数据的燃油消耗数据可视化与分析】Hadoop+PySpark+FP-Growth精彩专栏推荐订阅:在下方主页👇🏻👇🏻👇🏻👇🏻💖🔥作者主页:计算机毕设木哥🔥 💖
小张同学a.4 天前
大数据·hadoop·分布式
Hadoop 分布式集群实战 1—— 集群搭建与在线扩容Apache Hadoop 是开源分布式存储 + 分布式计算大数据框架,核心由 HDFS、YARN、MapReduce 三大组件构成,面向海量离线批处理场景,适合 TB/PB 级 “一次写入、多次读取” 的数据处理。
BYSJMG4 天前
大数据·hadoop·信息可视化·数据分析·spark·课程设计
计算机毕业设计选题推荐:基于大数据的心脏病风险数据可视化与分析(Hadoop+Spark+PySpark)精彩专栏推荐订阅:在下方主页👇🏻👇🏻👇🏻👇🏻💖🔥作者主页:计算机毕设木哥🔥 💖
Htr_9 天前
大数据·hadoop·apache
Outcome 核心概念与实战应用指南在 Rust 开发中,处理函数返回结果往往是最让人头疼的环节之一。传统的异常抛出机制虽然直观,但在系统编程领域,它容易掩盖错误的真实来源,导致运行时 panic,进而影响整个服务的稳定性。很多开发者在从其他语言转向 Rust 时,常常陷入“满屏问号”的困境:如何优雅地传递错误?如何在编译期就确保所有错误都被处理?这时候,outcome 模式或者说基于 Result 和 Option 的类型化错误处理方案,就显得尤为重要。
BYSJMG10 天前
大数据·hadoop·信息可视化·spark·课程设计
计算机毕业设计选题推荐|【基于大数据的城市噪音数据可视化分析】Spark+K-Means+FP-Growth实战精彩专栏推荐订阅:在下方主页👇🏻👇🏻👇🏻👇🏻💖🔥作者主页:计算机毕设木哥🔥 💖
牛奶咖啡1312 天前
大数据·hadoop·hadoop集群操作系统调优·hadoop集群运维问题汇总·hadoop集群硬件规划·大数据平台网络规划·大数据平台硬件存储选型
大数据Hadoop运维应用实践——Hadoop平台常见问题与故障汇总、系统调优、网络规划与硬件存储选型大数据Hadoop运维应用实践——Hadoop资源调度与权限管理文章浏览阅读10次。本文详细介绍了Hadoop YARN资源调度策略与HDFS权限管理两大核心功能。1、在YARN部分,重点对比了三种调度器(FIFO、Capacity、Fair)的特点、适用场景、与详细的配置与操作示例。2、HDFS权限管理部分阐述了POSIX权限模型和ACL扩展访问控制机制,介绍了如何通过setfacl/getfacl命令实现精细化权限控制。全文包含大量实战配置代码和参数说明,为Hadoop集群资源管理和权限控制提供了全面
雨晨源码(同名B站)12 天前
开发语言·hadoop·爬虫·python·信息可视化·毕业设计
基于Python的网易云音乐评论数据情感化分析系统 音乐爬虫信息可视化 |SnowNLP评论情感分析🔥作者:雨晨源码🔥 💖简介:java、微信小程序、安卓;定制开发,远程调试 代码讲解,文档指导,ppt制作💖 精彩专栏推荐订阅:在下方专栏👇🏻👇🏻👇🏻👇🏻 Java精彩实战毕设项目案例 小程序精彩项目案例 Python大数据项目案例
赤土 炙焱13 天前
hive·hadoop
hiveserver2启动失败,磁盘满了hiveserver2 连接失败,查看日志,磁盘满了查看磁盘情况查看内存占用大小du -sh /var/* | sort -h
Waay16 天前
大数据·数据库·hive·hadoop·hdfs·hbase
什么是HBase?它和Hive有什么区别?Hive:离线大数据仓库,存日志、订单批量数据,只能做批量统计查询,不能实时根据某一条 ID 快速查数据;
Francek Chen13 天前
大数据·数据仓库·hive·hadoop·分布式·数据分析
【大数据处理与分析】数据仓库Hive:02 数据湖【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
Blossom i15 天前
大数据·hadoop·spark
Python+spark2.0+Hadoop机器学习与大数据实战第十一章:Python Spark的集成开发环境虚拟机安装JDK1.8 JDK的下载,可以官网下载(可以选着版本),也可以从下面百度网盘链接下载(版本固定)
我要用代码向我喜欢的女孩表白16 天前
大数据·hadoop·hdfs
hdfs获取所有路径大小的脚本AI提示词 帮我写个shell脚本,我会给你一个hdfs路径的txt, 你帮我拼接一下 txt路径如下: /user/hive/warehouse/ods_s.db/rt_ppdai_pfl_transfour_tb_order /user/hive/warehouse/ods_s.db/rt_ppdai_pfl_transfour_tb_orde1 /user/hive/warehouse/ods_s.db/rt_ppdai_pfl_transfour_tb_orde2 读取txt, hdfs dfs
fastjson_17 天前
大数据·hadoop·npm
Hadoop之YarnHadoop三大件:HDFS、MapReduce、Yarn1、底层:HDFS 分布式文件系统 大数据存储底座,所有框架(MR/Spark/Flink/Hive/HBase)的数据最终都存在 HDFS 上,是整个集群的存储基石。
fastjson_17 天前
数据仓库·hive·hadoop
Hive的介绍和使用Hive 是一个框架,可以通过编写sql的方式,自动的编译为MR任务的一个工具。 在这个世界上,会写SQL的人远远大于会写java代码的人,所以假如可以将MR通过sql实现,这个将是一个巨大的市场,FaceBook就这么干。(脸书)