学习大数据，所需要的linux基础（1）

龙俊俊2024-04-21 12:32

文章目录

linux入门

概述

Linux内核最初只是由芬兰人林纳斯·托瓦兹(Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。

Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

目前市面上较知名的发行版有: Ubuntu、RedHat、CentOS、Debain、Fedora、SuSE、OpenSUSE。

Linux和Windows的区别

比较 Windows Linux
免费与收费 收费且很贵 免费或少许收费
软件与支持 数量和质量的优势，不过大部分为收费软件;由微软官方提供支持和服务; 开源自由软件，用户可以修改定制和再发布，由于基本免费没有资金支持，部分软件质量和体验欠缺;有全球所有的Linux开发者和自由软件社区提供支持。
安全性 三天两头打补丁安装系统安全更新，还是会中病毒木马; 要说Linux没有安全问题，那当然是不可能的，这---点仁者见仁智者见智，相对来说肯定比Windows 平台要更加安全
使用习惯 普通用户基本都是纯图形界面下操作使用，依靠鼠标和健盘完成---切操作，用户上手容易入门简单; 兼具图形界面操作和完全的命令行操作，可以只用健盘完成---切操作，新手入门较困难，需要一些学习和指导，---旦熟练之后效率极高。
可定制性 封闭的，系统可定制性很差; 开源，可定制化非常强。
应用场景 桌面操作系统主要使用的是window。 支撑百度，谷歌，淘宝等应用软件和服务的，是后台成千上万的Linux服务器主机。世界上大部分软件和服务都是运行在Linux之上的。

CentOS下载地址

网易镜像：http://mirrors.163.com/centos/7/isos/

搜狐镜像：https://mirrors.sohu.com/centos/7/isos/

Linux文件与目录结构

Linux文件

LInux系统中一切皆文件

Linux目录结构

文件夹 介绍
/bin 是Binary的缩写，这个目录中存放着最经常使用的命令
/sbin s就是Super User的意思，这里存放的是系统管理员使用的系统管理程序。
/home 存放普通用户的主目录，在Linux中每个用户都有一个自己的目录，一般该目录名是以用户的账号命名的。
/root 该目录为系统管理员，也称作超级权限者的用户主目录
/lib 系统开机所需要最基本的动态连接共享库，其作用类似于Windows里的DLL文件。几乎所有的应用程序都需要用到这些共享库。
/etc 所有的系统管理所需要的配置文件和子目录
/usr 这是一个非常重要的目录，用户的很多应用程序和文件都放在这个目录下，类似于windows下的program files目录
/boot 这里存放的是启动Linux时使用的一些核心文件，包括一些连接文件以及镜像文件，自己的安装别放这里。
/proc 这个目录是一个虚拟的目录，它是系统内存的映射，我们可以通过直接访问这个目录来获取系统信息。
/srv service缩写，该目录存放一些服务启动之后需要提取的数据。
/sys 这是linux2.6内核的一个很大的变化。该目录下安装了2.6内核中新出现的一个文件系统 sysfs
/tmp 这个目录是用来存放一些临时文件的。
/dev 类似于windows的设备管理器，把所有的硬件用文件的形式存储
/media Linux系统会自动识别一些设备，例如U盘、光驱等等，centos6中当识别后，linux会把识别的设备挂载到这个目录下，在centos7中会挂载到/run目录下面
/mnt 系统提供该目录是为了让用户临时挂载别的文件系统的，我们可以将外部的存储挂载在/mnt/上，然后进入该目录就可以查看里的内容了。
/opt 这是给主机额外安装软件所摆放的目录。比如你安装一个mysql数据库则就可以放到这个目录下。默认是空的。
/var 这个目录中存放着在不断扩充着的东西，我们习惯将那些经常被修改的目录，放在这个目录下。包括各种日志文件。

VI/VIM编辑器

vi/vim是什么

VI是Unix操作系统和类Unix操作系统中最通用的文本编辑器。

VIM编辑器是从VI发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜色辨别语法的正确性，方便程序设计。VIM与VI编辑器完全兼容

测试数据集准备

我们使用Xftp在home文件夹下，创建abc文件，并使用notepad++添加数据

一般模式

以vi打开一个档案就直接进入一般模式了（这是默认模式），在这个模式中，你可以使用【上下左右】案件来移动光标，你可以使用删除字符，删除整行来处理档案内容，也可以使用复制，粘贴 来处理你的文件数据

1.常用语法

语法 功能描述
yy 复制光标当前一行
y数字y 复制一段（从光标当前行到后n行）
p 箭头移动到目的行粘贴
u 撤销上一步
dd 删除光标当前行
d数字d 删除光标（含）后多少行
x 剪切一个字母(当前光标)，相当于del
X 剪切一个字母(当前光标的前一个)，相当于Backspace
yw 复制一个词
dw 删除一个词
shift+6(^) 移动到行头
shift+4($) 移动到行尾
1+shift+g 移动到页头，数字
shift+g 移动到页尾
数字N+shift+g 移动到目标行
2.vim键盘图

编辑模式

在一般模式中可以进行删除、复制、粘贴等的动作，但是却无法编辑文件内容的！要等到你按下『i, I, o, O, a, A』等任何一个字母之后才会进入编辑模式。

注意了！通常在Linux中，按下这些按键时，在画面的左下方会出现『INSERT或 REPLACE』的字样，此时才可以进行编辑。而如果要回到一般模式时， 则必须要按下『Esc』这个按键即可退出编辑模式。

1.进入编辑模式

常用语法

按键 功能
i 当前光标前
a 当前光标后
o 当前光标行的下一行
I 光标所在行最前
A 光标所在行最后
O 当前光标行的上一行

2.退出编辑功能

按【ESC】键

指令模式

在一般模式当中，输入『 : / ?』3个中的任何一个按钮，就可以将光标移动到最底下那一行。

在这个模式当中， 可以提供你『搜寻资料』的动作，而读取、存盘、大量取代字符、离开 vi 、显示行号等动作是在此模式中达成的！

1.基本语法

命令 功能
:w 保存
:q 退出
:! 强制执行
/要查找的词 n 查找下一个，N 往上查找
:noh 取消高亮显示
:set nu 显示行号
:set nonu 关闭行号
:%s/old/new/g 替换内容 /g global替换匹配到的所有内容
2.案例操作
强制保存退出
:wq!

模式间转换

网络配置和系统管理操作

查看网络IP和网关

1）查看虚拟网络编辑器

在编辑中选择查看虚拟网络编辑器

2）修改虚拟网卡IP

3）查看网关

4）查看windows环境的中VMnet8网络配置

打开cmd。输入

ipconfig

配置网络和ip地址

ifconfig配置网络接口

ifconfig :network interfaces configuring网络接口配置。

1）基本语法

ifconfig （功能描述：显示所有网络接口的配置信息）

2）案例实操

（1）查看当前网络IP

2）案例实操

（1）测试当前服务器是否可以连接百度

修改ip地址

bash 复制代码 
vim /etc/sysconfig/network-scripts/ifcfg-ens33

编辑完后，按键盘esc，然后输入 :wq 回车即可。

2）执行service network restart 重启网络

修改ip地址后可能会遇到的问题

（1）物理机能ping通虚拟机，但是虚拟机ping不通物理机,一般都是因为物理机的防火墙问题,把防火墙关闭就行

（2）虚拟机能Ping通物理机,但是虚拟机Ping不通外网,一般都是因为DNS的设置有问题

（3）虚拟机Ping www.baidu.com 显示域名未知等信息,一般查看GATEWAY和DNS设置是否正确

（4）如果你修改了windows主机的vmnet8的ip需要重启电脑

（5）如果以上全部设置完还是不行，需要关闭NetworkManager服务

systemctl stop NetworkManager 关闭

systemctl disable NetworkManager 禁用

（6）如果检查发现 systemctl status network 有问题 需要检查ifcfg-ens33

配置主机名

修改主机名称

1.基本语法

hostname 功能叙述：查看当前服务器的主机名称

2.实例操作

（1）查看当前服务器主机名称

[root@hadoop100 桌面]# hostname

（2）如果感觉此主机名不合适，我们可以进行修改。通过编辑/etc/hostname文件

[root@hadoop100 桌面]# vi /etc/hostname

注意：修改完成后重启生效

修改hosts映射文件

1）修改linux的主机映射文件（hosts文件）

说明：后续在hadoop阶段，虚拟机会比较多，配置时通常会采用主机名的方式配置，比较简单方便。不用刻意记IP地址。

（1）打开/etc/hosts

[root@hadoop100 桌面]# vim /etc/hosts

添加如下内容（hadoop阶段内容，可以先不添加）：

2）修改window10的主机映射文件（hosts文件）

（1）进入C:\Windows\System32\drivers\etc路径

（2）拷贝hosts文件到桌面

（3）打开桌面hosts文件并添加如下内容

192.168.100.100 hadoop100

192.168.100.101 hadoop101

192.168.100.102 hadoop102

192.168.100.103 hadoop103

192.168.100.104 hadoop104

（4）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

关闭防火墙

systemctl

1.基本语法

systemctl start | stop | restart | status 服务名

2.经验技巧

查看服务的方法：/usr/lib/systemd/system

3.实例操作

（1）查看网络服务的状态

systemctl status network

（2）停止网络服务

systemctl stop network

（3）启动网络服务

systemctl start network

（4）重启网络服务

systemctl restart network

systemctl 设置后台服务的自启配置

1）基本语法

sys （功能描述：查看服务开机启动状态）

systemctl is-enabled service_name (功能描述:查看当前服务的开机启动状态)

systemctl disable service_name （功能描述：关掉指定服务的自动启动）

systemctl enable service_name （功能描述：开启指定服务的自动启动）

关闭防火墙

1）临时关闭防火墙

（1）查看防火墙状态

systemctl status firewalld

（2）临时关闭防火墙

systemctl stop firewalld

2）开机启动时关闭防火墙

（1）查看防火墙开机启动状态

systemctl enable firewalld.service

（2）设置开机时关闭防火墙

systemctl disable firewalld.service

（3）查看服务是否开机自启

systemctl is-enabled firewalld.service

disabled 表示开机不自启

enabled 表示开机自启

关机重启命令

在linux领域内大多用在服务器上，很少遇到关机的操作。毕竟服务器上跑一个服务是永无止境的，除非特殊情况下，不得已才会关机。

正确的关机流程为：sync > shutdown > reboot > halt

1）基本语法

（1）sync （功能描述：将数据由内存同步到硬盘中）

（2）halt （功能描述：关闭系统，等同于shutdown -h now 和 poweroff）

（3）reboot （功能描述：就是重启，等同于 shutdown -r now）

（4）shutdown [选项] 时间

①shutdown参数说明

选项 功能
-h -h=halt关机
-r -r=reboot重启

②now参数说明

参数 功能
now 立刻关机
时间 等待多久后关机（时间单位是分钟）。

2）经验技巧

Linux系统中为了提高磁盘的读写效率，对磁盘采取了 "预读迟写"操作方式。当用户保存文件时，Linux核心并不一定立即将保存数据写入物理磁盘中，而是将数据保存在缓冲区中，等缓冲区满时再写入磁盘，这种方式可以极大的提高磁盘写入数据的效率。但是，也带来了安全隐患，如果数据还未写入磁盘时，系统掉电或者其他严重问题出现，则将导致数据丢失。使用sync指令可以立即将缓冲区的数据写入磁盘。

3）案例实操

（1）将数据由内存同步到硬盘中

#sync

（2）重启

#reboot

（3）关机

#halt

（4）计算机将在1分钟后关机，并且会显示在登录用户的当前屏幕中

shutdown -h 1 'This server will shutdown after 1 mins'

（5）立马关机（等同于 halt）

#shutdown -h now

（6）系统立马重启（等同于 reboot）

#shutdown -r now

找回root密码

1）重启Linux，见到下图，通过键盘上下方向键选择第一个

2）按e，出现如下的界面、

3）定位到LANG=zh_CN.UTF-8，后面追加 init=/bin/sh

4）键盘ctrl+x进行引导启动，进入如下界面

5）挂载根目录 mount -o remount,rw /

6）选择要修改密码的用户名，passwd root，然后输入两次一致的密码，依次回车。

注意: 输入密码不显示，一定要确认输入正确。

7）更新系统信息 touch /.autorelabel、

8）最后输入exec /sbin/init 命令重启系统即可

9）进入登录界面，输入修改后的密码登录即可。

远程登录

通常在工作过程中，公司中使用的真实服务器或者是云服务器，都不允许除运维人员之外的员工直接接触，因此就需要通过远程登录的方式来操作。所以，远程登录工具就是必不可缺的，目前，比较主流的有Xshell，SSH Secure Shell，SecureCRT，FinalShell等，同学们可以根据自己的习惯自行选择。

常用基本语法

帮助命令

man获取帮助信息

1）基本语法

man [命令或配置文件] （功能描述：获得帮助信息）

2）显示说明

信息 功能
NAME 命令的名称和单行描述
SYNOPSIS 怎样使用命令
DESCRIPTION 命令功能的深入讨论
EXAMPLES 怎样使用命令的例子
SEE ALSO 相关主题（通常是手册页）

3）案例实操

（1）查看ls命令的帮助信息

#man ls

help 获得shell内置命令的帮助信息

1）基本语法

help 命令 （功能描述：获得shell内置命令的帮助信息）

2）案例实操

（1）查看cd命令的帮助信息

#help cd

常用快捷键

常用快捷键 功能
ctrl + c 停止进程
ctrl+l 清屏；彻底清屏是：reset
ctrl + q 退出
善于用tab键 提示(更重要的是可以防止敲错)
上下键 查找执行过的命令
ctrl +u 清除当前敲的命令

文件目录类

pwd 显示当前工作目录的绝对路径

pwd:print working directory 打印工作目录

1）基本语法

pwd （功能描述：显示当前工作目录的绝对路径）

2）案例实操

（1）显示当前工作目录的绝对路径

#pwd

ls 列出目录的内容

ls:list 列出目录内容

1）基本语法

ls [选项] [目录或是文件]

2）选项说明

选项 功能
-a 全部的文件，连同隐藏档( 开头为 . 的文件) 一起列出来(常用)
-l 长数据串列出，包含文件的属性与权限等等数据；(常用)

3）显示说明

每行列出的信息依次是： 文件类型与权限 链接数 文件属主 文件属组 文件大小用byte来表示 建立或最近修改的时间 名字

4）案例实操

（1）查看当前目录的所有内容信息

#ls -al

cd 切换目录

cd:Change Directory切换路径

1）基本语法

cd [参数]

2）参数说明

参数 功能
cd 绝对路径 切换路径
cd 相对路径 切换路径
cd ~或者cd 回到自己的家目录
cd - 回到上一次所在目录
cd ... 回到当前目录的上一级目录
cd -P 跳转到实际物理路径，而非快捷方式路径

mkdir创建一个新的目录

mkdir:Make directory 建立目录

1）基本语法

mkdir [选项] 要创建的目录

2）选项说明

选项 功能
-p 创建多层目录

3）案例实操

（1）创建一个目录

#mkdir xiyou

#mkdir xiyou/mingjie

（2）创建一个多级目录

#mkdir -p xiyou/dssz/meihouwang

rmdir 删除一个空的目录

rmdir:Remove directory 移动目录

1）基本语法

rmdir 要删除的空目录

2）案例实操

（1）删除一个空的文件夹

#rmdir xiyou/dssz/meihouwang

touch 创建空文件

1）基本语法

touch 文件名称

2）案例实操

#touch xiyou/dssz/sunwukong.txt

cp 复制文件或目录

1）基本语法

cp [选项] source dest （功能描述：复制source文件到dest）

2）选项说明

选项 功能
-r 递归复制整个文件夹

3）参数说明

参数 功能
source 源文件
dest 目标文件

4）经验技巧

强制覆盖不提示的方法：\cp

5）案例实操

（1）复制文件

#cp xiyou/dssz/suwukong.txt xiyou/mingjie/

（2）递归复制整个文件夹

#cp -r xiyou/dssz/

rm 删除文件或目录

1）基本语法

rm [选项] deleteFile （功能描述：递归删除目录中所有内容）

2）选项说明

选项 功能
-r 递归删除目录中所有内容
-f 强制执行删除操作，而不提示用于进行确认。
-v 显示指令的详细执行过程

案例实操

（1）删除目录中的内容

#rm xiyou/mingjie/sunwukong.txt

（2）递归删除目录中所有内容

#rm -rf dssz/

mv 移动文件与目录或重命名

1）基本语法

（1）mv oldNameFile newNameFile （功能描述：重命名）

（2）mv /temp/movefile /targetFolder （功能描述：移动文件）

2）案例实操

（1）重命名

#mv xiyou/dssz/suwukong.txt xiyou/dssz/houge.txt

#mv xiyou/dssz/houge.txt ./

cat 查看文件内容

查看文件内容，从第一行开始显示。

1）基本语法

cat [选项] 要查看的文件

2）选项说明

选项 功能描述
-n 显示所有行的行号，包括空行。

3）经验技巧

一般查看比较小的文件，一屏幕能显示全的。

4）案例实操

（1）查看文件内容并显示行号

#cat -n houge.txt

more文件内容分屏查看器

more指令是一个基于VI编辑器的文本过滤器，它以全屏幕的方式按页显示文本文件的内容。more指令中内置了若干快捷键，详见操作说明。

1）基本语法

more 要查看的文件

2）操作说明

操作 功能说明
空白键 (space) 代表向下翻一页；
Enter 代表向下翻『一行』；
q 代表立刻离开 more ，不再显示该文件内容。
Ctrl+F 向下滚动一屏
Ctrl+B 返回上一屏
= 输出当前行的行号
:f 输出文件名和当前行的行号

3）案例实操

（1）采用more查看文件

#more smartd.conf

less 分屏显示文件内容

ess指令用来分屏查看文件内容，它的功能与more指令类似，但是比more指令更加强大，支持各种显示终端。less指令在显示文件内容时，并不是一次将整个文件加载之后才显示，而是根据显示需要加载内容，对于显示大型文件具有较高的效率。

1）基本语法

less 要查看的文件

2）操作说明

操作 功能说明
空白键 向下翻动一页；
[pagedown] 向下翻动一行
[pageup] 向上翻动一行；
/字串 向下搜寻『字串』的功能；n：向下查找；N：向上查找；
?字串 向上搜寻『字串』的功能；n：向上查找；N：向下查找；
q 离开 less 这个程序；

3）经验技巧

用SecureCRT时[pagedown]和[pageup]可能会出现无法识别的问题。

4）案例实操

（1）采用less查看文件

#less smartd.conf

head 显示文件头部内容

head用于显示文件的开头部分内容，默认情况下head指令显示文件的前10行内容。

1）基本语法

head 文件 （功能描述：查看文件头10行内容）

head -n 5 文件 （功能描述：查看文件头5行内容，5可以是任意行数）

2）选项说明

选项 功能
-n<行数> 指定显示头部内容的行数

3）案例实操

（1）查看文件的头2行

#head -n 2 smartd.conf

tail 输出文件尾部内容

tail用于输出文件中尾部的内容，默认情况下tail指令显示文件的后10行内容

1）基本语法

（1）tail 文件 （功能描述：查看文件尾部10行内容）

（2）tail -n 5 文件 （功能描述：查看文件尾部5行内容，5可以是任意行数）

（3）tail -f 文件 （功能描述：实时追踪该文档的所有更新）

2）选项说明

选项 功能
-n<行数> 输出文件尾部n行内容
-f 显示文件最新追加的内容，监视文件变化

3）案例实操

（1）查看文件尾1行内容

#tail -n 1 smartd.conf

（2）实时追踪该档的所有更新

#tail -f houge.txt

echo

echo输出内容到控制台

1）基本语法

echo [选项] [输出内容]

选项：

-e： 支持反斜线控制的字符转换

控制字符 作用
\ 输出\本身
\n 换行符
\t 制表符，也就是Tab键
2）案例实操
#echo "hello\tworld"
#echo -e "hello\tworld"

> 输出重定向和 >> 追加

2）案例实操

（1）将ls查看信息写入到文件中

#ls -l>houge.txt

（2）将ls查看信息追加到文件中

#ls -l>>houge.txt

（3）采用echo将hello单词追加到文件中

#echo hello>>houge.txt

ln 软链接

软链接也成为符号链接，类似于windows里的快捷方式，有自己的数据块，主要存放了链接其他文件的路径。

1）基本语法

ln -s [原文件或目录] [软链接名] （功能描述：给原文件创建一个软链接）

2）经验技巧

删除软链接： rm -rf 软链接名，而不是rm -rf 软链接名/

查询：通过ll就可以查看，列表属性第1位是l，尾部会有位置指向。

3）案例实操

（1）创建软连接

mv houge.txt xiyou/dssz/

ln -s xiyou/dssz/houge.txt ./houzi

可以看到我们创建的软连接

（2）删除软连接

#rm -rf houzi

注意：rm -rf houzi/ 这样删是删不掉的 不能再软连接后面加/

（3）进入软连接实际物理路径、

#cd -P dssz/

history 查看已经执行过历史命令

1）基本语法

history （功能描述：查看已经执行过历史命令）

2）案例实操

（1）查看已经执行过的历史命令

#history

相关推荐
霍格沃兹测试开发学社测试人社区6 分钟前
软件测试学习笔记丨Flask操作数据库-数据库和表的管理
软件测试·笔记·测试开发·学习·flask
WeeJot嵌入式13 分钟前
大数据治理：确保数据的可持续性和价值
大数据
今天我又学废了22 分钟前
Scala学习记录，List
学习
颇有几分姿色28 分钟前
深入理解 Linux 内存管理：free 命令详解
linux·运维·服务器
王俊山IT1 小时前
C++学习笔记----10、模块、头文件及各种主题（一）---- 模块（5）
开发语言·c++·笔记·学习
AndyFrank1 小时前
mac crontab 不能使用问题简记
linux·运维·macos
zmd-zk1 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka
激流丶1 小时前
【Kafka 实战】如何解决Kafka Topic数量过多带来的性能问题？
java·大数据·kafka·topic
筱源源1 小时前
Kafka-linux环境部署
linux·kafka
测试界的酸菜鱼1 小时前
Python 大数据展示屏实例
大数据·开发语言·python
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10【TC3xx芯片】TC3xx芯片电源管理系统PMS详解