大数据学习1:Hadoop单机版环境搭建

1.基础知识介绍

Flume采集日志。Sqoop采集结构化数据,比如采集数据库。

存储到HDFS上。

YARN资源调度,每台服务器上分配多少资源。

Hive是基于Hadoop的一个数据仓库工具,提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。MapReduce将HDFS数据分割,整合键值对,再整到HDFS。

Spark是一款大数据处理框架,其开发初衷是改良Hadoop MapReduce的编程模型和提高运行速度。Spark主要面向批处理需求,但也支持流处理,因其优异的性能和易用的接口,Spark已经是批处理界绝对的王者。

Kafka也是一种面向大数据领域的消息队列框架,一个企业经常拆分出很多不同的应用系统,系统之间需要建立数据流管道。

2.具体流程

使用虚拟机新建了centos7的linux系统,在上面部署的

一、环境准备

1.上传下载的jdk包

2.解压JDK安装包

3.配置环境变量

4.配置免密登录,ip改成自己的ip

二、配置Hadoop

1.上传下载的Hadoop包

2.进入/opt/server/hadoop-3.1.0/etc/hadoop 目录下,修改以下配置,都是vim打开修改

3.初始化并启动HDFS

我的是http://192.168.59.100:9870/

三、Hadoop(YARN)环境搭建

1.修改配置文件,进入/opt/server/hadoop-3.1.0/etc/hadoop 目录下,修改以下配置

2.启动服务

在这个文件夹下面cd /opt/server/hadoop-3.1.0/sbin/

在当前目录下启动

访问地址为:http://192.168.59.100:8088/

相关推荐
数据库安全1 小时前
首批|美创智能数据安全分类分级平台获CCIA“网络安全新产品”
大数据·人工智能·web安全
袋鼠云数栈2 小时前
使用自然语言体验对话式MySQL数据库运维
大数据·运维·数据库·后端·mysql·ai·数据治理·数栈·data+ai
阿里云大数据AI技术2 小时前
数据 + 模型 驱动 AI Native 应用发展
大数据·数据库·人工智能
朴拙数科4 小时前
在 macOS 上安装与自定义 Oh My Zsh:让终端美观又高效 [特殊字符]
大数据·elasticsearch·macos
Qdgr_6 小时前
传统报警难题频现,安全运行隐患重重
大数据·人工智能·安全
张先shen8 小时前
Elasticsearch深度分页解决方案:search_after原理剖析
大数据·elasticsearch·搜索引擎
泊浮目8 小时前
生产级Rust代码品鉴(一)RisingWave一条SQL到运行的流程
大数据·后端·rust
vivo互联网技术9 小时前
vivo Pulsar 万亿级消息处理实践(3)-KoP指标异常修复
java·大数据·服务器·后端·kafka·消息队列·pulsar
武子康9 小时前
大数据-36 HBase 增删改查 列族详解 实测
大数据·后端·hbase