大数据导论 笔记

一、大数据方向

1、技术发展

计算机网络云计算大数据时代人工智能(本科:使用,研究生:推导,博士:创新)

2023年

大数据模型

人工智能元年

2、基础课程

hadoop

大数据基础

三大件:HDFS分布式存储、MapReduce并行计算框架、yarn分布式资源调度框架

hbase

Hadoop DataBase

分布式列式数据库

NoSQL

hive

数据仓库

兼容SQL标准

3、提高课程

Storm

流式计算

Spark

一栈式解决方案平台

批量数据处理

实时数据处理

支持语言:Java、Scala、Python、R、SQL

4、其它课程

NoSQL

Redis

MongoDB

消息队列

Kafka

数据采集

flume

爬虫

Java编程爬虫

Python编程爬虫

二、VMware软件安装与使用

1、VMware软件下载与安装

官网

https://www.vmware.com/products/workstation-pro.html

下载

VMware-workstation-full-17.0.0-20800274.exe

安装

查看安装是否成功

查看服务

win + R

设置兼容性

2、配置VM的网络

查看网关

查看DHCP

三、CentOS7安装与配置

1、下载镜像

下载地址

http://isoredirect.centos.org/centos/7/isos/x86_64/

东软

http://mirrors.neusoft.edu.cn/centos/7.9.2009/isos/x86_64/

阿里云

http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/

确定版本(最小化)

CentOS-7-x86_64-Minimal-2009.iso

2、安装CentOS7

新建虚拟机






自动启动

按一下回车键,自动进入安装模式

硬盘分区并格式化


设置管理员密码

添加用户hadoop/hadoop

睁着眼睛,看着安装完成,重启

登录系统

3、配置网络

VMware软件的网络模式

桥接模式:虚拟机就是一台物理主机,占用太多的资源

NAT模式:虚拟机与宿主环境沟通实现互相访问,其它计算无法访问

主机模式:独立,无法访问

配置网卡

使用vi进行编辑

vi操作

命令模式

按一下ESC键

再按shift + ;

输入命令并回车

复制代码
	:set nu显示行号
	:q!退出不保存
	:wq退出并保存
编辑模式
	按一下insert键,或,按一下A键插入模式
	再按一下insert键覆盖模式


修改如下

保存并退出

按一下ESC,再按一下shift + ;

输入:wq并回车

重启网络网络

检测网络

4、安装常用工具

手动安装



自动安装(省事)

5、配置时钟同步

时钟同步

参照某一个时间服务器同步设置

并行计算时,需要分布式服务器时间不能产生毫秒级别的误差,否则无法计算

安装NTP

设置时区

相关推荐
贝格前端工场9 分钟前
AI在生产制造企业的六大成熟落地场景(可量产、可验收、非噱头)
大数据·ui·前端开发
Elastic 中国社区官方博客20 分钟前
机构如何统一智慧城市数据以改善公共服务?
大数据·人工智能·物联网·elasticsearch·搜索引擎·全文检索·智慧城市
Raas10021 分钟前
MAI Gateway(魔芋企业级AI网关)详解:企业为什么需要AI网关,一文读懂企业AI流量治理
大数据·人工智能·gateway·api·ai网关·mai gateway
大任视点26 分钟前
《怪兽引擎:能源转型的驯化与共生》开幕 以艺术思辨锚定后化石时代的文明坐标
大数据·人工智能
linweidong27 分钟前
阿里Lazada Java面经及参考答案
大数据·高并发·反射·拦截器·session·幂等性·redis性能
xieliyu.32 分钟前
计算机网络|数据链路层详解:MAC 地址、交换机、ARP 协议、CRC 校验
java·网络·笔记·计算机网络·java-ee
衡石科技38 分钟前
HENGSHI SENSE 6.2发布,超越ChatBI的数据智能底座
大数据·科技·数据分析
上海蓝色星球39 分钟前
数智重构造价全流程|蓝色星球造价机器人,驱动行业标准化智能化升级
大数据·人工智能
数智启示录1 小时前
Apache Doris 4.0.8 一致性实战(第 3 篇):Checkpoint 一直成功,Exactly-Once 为什么仍可能是假的
大数据·经验分享·面试·flink
Geeys1 小时前
京东商家商品推广全攻略
大数据·人工智能