一、多行重定向
Here Document 多行重定向
定义
使用I/O重定向的方式将命令列表提供给交互式程序
标准输入的一种替代品
Here Document 是标准输 入的一种替代品，可以帮助脚本开发人员不必使用临时文件来构建输入信息，而是直接就地 生产出一个<font color='red'>文件</font><font color='cornflowerblue'>并用作</font><font color='red'>命令</font>的标准输入,Here Document 可以与非交互式程序和命令一起使用
语法格式：
命令 << 标记
....
......
标记
注意事项：
-
标记可以使用任意的合法字符（通用的字符是EOF）
-
结尾的标记一定要顶格写，前面不能有任何字符（包括空格）
-
结尾的标记后面也不能有任何字符（包括空格）
-
开头标记前后空格会被省略掉
-
单引号 变量双引号 ---
例一：
使用 wc -l 命令后面直接跟文件名就可以统计文件内有多少行内容，将要统计的内容置于标记"EOF" 之间，直接将内容传给 wc -l 来统计。
[root@localhost opt]#vim 1.sh
#!/bin/bash
wc -l <<EOF
line 1
line 2
EOF
[root@localhost opt]#bash 1.sh
2
1. 此处含义解释： wc -l <font color='purple'>统计行数</font>
2. <<EOF
.......
EOF
之间的内容 传入脚本做为参数给 wc-l
例二：
通常使用 read 命令接收用户的输入值时会有交互过程
[root@localhost ~]# read -p "请输入一个数字" ack
请输入一个数字8
[root@localhost ~]# echo $ack
8
[root@localhost opt]#read a <<EOF
> 1122
> EOF
[root@localhost opt]#echo $a
1122
例三：
使用 passwd命令设置密码
EOF 标记之间的两行是输入的密码和确认密码，两行内容必须保持一致，否则密 码设置不成功。此脚本执行后不会输出任何信息，可另开一个终端使用 jerry 用户登录，输 入新修改的密码来验证密码是否修改正确
[root@localhost opt]#passwd zhangsan <<EOF
> 1234
> 1234
> EOF
注意密码的格式要求
例四：
编写yum仓库的内容
[root@localhost etc]#cat <<EOF >/etc/yum.repos.d/local.repo
> [local]
> name=local
> baseurl=file:///mnt
> gpgcheck=0
> EOF
[root@localhost etc]#cat /etc/yum.repos.d/local.repo
[local]
name=local
baseurl=file:///mnt
gpgcheck=0
Here Document 变量设定
Here Document 也支持使用变量，如果标记之间有变量被使用，会先替换变量值。如 果想要将一些内容写入文件，除了常规的方法外，也可以使用 Here Document。如果写入 的内容中包含变量，在写入文件时要先将变量替换成实际值，在结合 cat 命令完成写入。
例一：
[root@localhost ~]# cat <<EOF
> hello
> world
> !!!
> EOF
hello
world
!!!
[root@localhost data]#cat >>/data/1 <<EOF
> 123
> asd
> zxc
> EOF
#把输入内容追加到/data/1文件中。
[root@localhost data]#cat 1
123
asd
zxc
#####可以使用变量
#!/bin/bash
file="gt.txt"
qa="school"
cat >$file <<EOF
go to $qa
EOF
#这些意思是把输入的内容导入到gt.txt文件里。
cat $file
[root@localhost data]#bash g.sh
go to school
[root@localhost data]#cat gt.txt
go to school
例二：
在引用的变量上，加上 " " 完美引用
[root@localhost ~]# vim eof.sh
#!/bin/bash
var="today i will good study"
myvar=$(cat <<EOF
this is my day
$var
this is good day
EOF
)
echo $myvar
[root@localhost ~]#bash eof.sh
this is my day today i will good study this is good day
给脚本里 echo $myvar 变量加上双引号 echo "$myvar" 完美复刻所有格式。
[root@localhost ~]# vim eof.sh
#!/bin/bash
var="today i will good study"
myvar=$(cat <<EOF
this is my day
$var
this is good day
EOF
)
echo "$myvar"
[root@localhost data]#bash 22.sh
this is my day
today i will good study
this is good day
例三：
在标记符上加上 " " 表示不引用变量显示原来的意思
[root@localhost ~]# vim eof.sh
#!/bin/bash
var="today i will good study"
myvar=$(cat <<"EOF" #这里EOF加了双引号
this is my day
$var
this is good day
EOF
)
echo "$myvar"
[root@localhost ~]# ./eof.sh
this is my day
$var
this is good day
#可以看到变量未被引用，表示原来意思。
例四：
在标记符前加上 - 不显示tab键但是显示空格键
[root@localhost ~]# vim eof.sh
#!/bin/bash
var="today i will good study"
myvar=$(cat <<-EOF
this is my day #这里用的TAB
$var
this is good day #这里用的空格
EOF
)
echo "$myvar"
[root@localhost data]#bash eof.sh
this is my day
today i will good study
this is good day
#可以看到TAB了的行不显示。
例五：
前面加上冒号表示注册
:<<EOF
EOF
二、 expect 免交互
定义：
是建立在 tcl（tool command language）语言基础上的一个工具，常被用于进行自动化控制和测试，解决shell脚本中交互的相关问题
你需要检查是否有 expect 和 tcl 软件包
rpm -q expect
rpm -q tcl
yum install -y expect #yum安装expect
格式：
expect [选项] [ -c cmds ] [ [ -[f|b] ] cmdfile ] [ args ]
expect中相关命令
- spawn 启动新的进程（监控，捕捉）
spawn passwd root
- expect 从进程接收字符串
- send 用于向进程发送字符串
- exp_continue 匹配多个字符串在执行动作后加此命令
- interact 允许用户交互
- expect eof 结束符
例子：
[root@localhost data]#expect
expect1.1> expect "hi" {send "hello\n"}
hihisjs
hello
expect1.2>
#只要屏幕上出现hi ，输出hello并换行。
要先安装expect
#####免交互，传输文件#####
[root@localhost data]#vim scp.exp
#!/usr/bin/expect
spawn scp /etc/fstab 192.168.91.101:/mnt
expect {
"yes/no" { send "yes\n";exp_continue }
"password" { send "123123\n" }
}
expect eof
[root@localhost data]#expect scp.exp #注意使用expect运行这个脚本
spawn scp /etc/passwd 192.168.80.10:/mnt
The authenticity of host '192.168.80.10 (192.168.80.10)' can't be established.
ECDSA key fingerprint is SHA256:x3FGetAdEbA5tIBXXkLnxfIj3rVQz34pGBRZ1MH/X38.
ECDSA key fingerprint is MD5:cb:3f:b4:60:6c:b3:74:19:56:76:80:ea:7c:00:13:be.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.80.10' (ECDSA) to the list of known hosts.
root@192.168.80.10's password:
passwd 100% 2095 4.1MB/s 00:00
基本命令介绍：
（1）脚本解释器
expect 脚本中首先引入文件，表明使用的事哪一种shell
#！/usr/bin/expect
（2）spawn
spawn 后面通常跟一个Linux执行命令，表示开启一个会话、进程，并跟踪后续交互信息
例： spawn passwd root
（3）expect
判断上次输出结果中是否包含指定的字符串，如果有则立即返回，否则就等待超时时间后返回；只能捕捉有swpan启动的进程输出；
用于接受命令执行后的输出，然后和期望的字符串匹配
（4）send
向进程发送字符串，用于模拟用户的输入：该命令不能自动回车换行，一般要加 \r (回车) 或者\ n
expect 书写方式：
方式一：
expect "密码" {send "abc123\r"} #同一行send部分要有{}
方式二：
expect "密码"
send "abc123\r" # 换行send部分不需要有{}
方式三：
expect 支持多个分支
expect #只要匹配了其中一个情况，执行相应的send 语句后退出该expect 语句
只匹配一次
expect
{
{"密码1" {send "abc123\r"}
{"密码2" {send "123123\r"}
{"密码3" {send "123456\r"}
}
#这里 \r \n 都是回车
(5) 结束符
expect eof
表示交互结束，等待执行结束，退回到原用户，与spawn对应
比如切换到root用户，expect 脚本默认的等待时间是10s，当执行王命令后，默认停留10s后，自动切回原用户.
interact
执行完成后保持交互状态, 把控制权交给控制台，会停留在目标终端而不是退回到原终端，这时候就可以手工操作了，interact后命令不再起作用，比如interact后添加exit，并不会退出root用户。而如果没有interact则登录完成后会退出，而不是留在远程终端上。
使用interact会保持在终端而不会退回原终端，比如切换到root用户，会一直在root用户状态下；比如ssh到另一台服务器，会一直在目标服务器终端而不会切回原服务器。
需要注意的是，expect eof 与 interact 只能二选一。
（6）set
expect 默认的超时时间是10秒，通过set 命令可以设置会话超时时间，若不限制超时时间则应设置为-1
例子： set time out 30
(7) exp_continue
exp_continue 表示允许 expect 继续向下执行指令.
exp_continue附加于某个expect 判断选项之后，可以是该项被匹配后还能继续匹配expect 判断语句内的其他项。exp_continue类似于控制语句的continue语句。表示允许expect继续向下执行命令。
例如：
expect
{
"(yes/no)" {send "yes\r";exp_continue；}
"password" {set timeout 300; send "abc123\r"}
}
**注意：**使用 exp_continue 时，如果跟踪像passwd这样输入密码后就结束进程的命令，expect {}外不要加上expect eof 因为spawn进程结束后会默认向expect 发送eof，会导致后面的expect eof执行报错
（8）send_user
表示回显命令与echo相同
（9）接收参数（位置变量）
expect 脚本可以接受从bash命令行传递参数，或使用 [lindex $argv n]获得。其中你从0开始，分别表示第一个，第二个，第三个.....参数
例子：
set hostname [lindex $argv 0] 相当于hostname=$1
set password [lindex $argv 1] 相当于passswd=$2
expect直接执行，需要expect命令去执行脚本
远程拷贝
[root@localhost data]#vim kaobei.exp
#!/usr/bin/expect
spawn scp /etc/passwd 192.168.80.10:/data
expect {
"yes/no" {send "yes\n";exp_continue}
"password" {send "123\n"}
}
expect eof
[root@localhost data]#expect kaobei.exp
ssh远程连接
[root@localhost data]#vim ssh.exp
#!/usr/bin/expect
spawn ssh 192.168.80.10
expect {
"yes/no" {send "yes\n";exp_continue}
"password" {send "123\n"}
}
interact
#执行完成后保持交互状态
[root@localhost data]#expect ssh.exp
变量
[root@localhost data]#vim ssh.exp
#!/usr/bin/expect
set user root
set ip 192.168.80.10
set pw 123
set timeout 10
#设置超时时间
spawn ssh $user@$ip
expect {
"yes/no" {send "yes\n";exp_continue}
"password" {send "$pw\n"}
}
interact
#执行完成后保持交互状态
[root@localhost data]#expect ssh.exp
接收参数（位置变量）
远程ssh脚本
[root@localhost data]#vim ssh2.exp
#!/usr/bin/expect
set timeout 10
set hostname [lindex $argv 0]
#相当于hostname=$1
set ip [lindex $argv 1]
#相当于ip=$2
set password [lindex $argv 2]
#相当于password=$3
spawn ssh $hostname@$ip
expect {
"Connection refused" exit
"No route to host" exit
"yes/no" {send "yes\n";exp_continue}
"password" {send "$password\n"}
}
interact
[root@localhost data]#expect ssh2.exp root 192.168.80.10 123
用户名 IP地址 密码
切换用户脚本
[root@localhost data]#su - w
上一次登录：四 2月 1 14:28:59 CST 2024pts/1 上
[w@localhost ~]$
[w@localhost ~]$ vim su.exp
[w@localhost ~]$ expect su.exp root 123
spawn su root
密码：
[root@localhost w]#hello root!
#这里 当前目录 出现 w 是因为没有完全切换用户。
#!/usr/bin/expect
set timeout 5
#设置超时时间
set name [lindex $argv 0]
set pd [lindex $argv 1]
spawn su $name
#可以写成 su - $name 完全切换用户。
expect {
"密码：" {send "$pd\n"}
}
expect {
"*]#" {send_user "hello root!"}
#这里 * 的意思是字符出现0到无数次且以]#结尾，只要屏幕上出现这种情况就回显hello root！（跟echo相同）
}
interact
使用bash 编写 expect脚本
[root@localhost data]#vim ssh3.sh
#!/bin/bash
name=$1
ip=$2
pw=$3
/usr/bin/expect <<EOF
spawn ssh $name@$ip
expect {
"yes/no" {send "yes\n";exp_continue}
"password" {send "$pw\n"}
}
expect "*]#"
send "ifconfig ens33\rexit\r"
expect eof
EOF
执行结果：
[root@localhost data]#bash ssh3.sh root 192.168.80.10 123
spawn ssh root@192.168.80.10
root@192.168.80.10's password:
Last login: Thu Feb 1 15:30:54 2024 from 192.168.80.7
[root@localhost ~]#ifconfig ens33
ens33: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 192.168.80.10 netmask 255.255.255.0 broadcast 192.168.80.255
inet6 fe80::8a14:98:a26f:9ab6 prefixlen 64 scopeid 0x20<link>
ether 00:0c:29:70:48:93 txqueuelen 1000 (Ethernet)
RX packets 114990 bytes 7674276 (7.3 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 20470 bytes 6147335 (5.8 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
[root@localhost ~]#exit
登出
Connection to 192.168.80.10 closed.
如何对两台主机进行操作？
#!/bin/bash
net=192.168.80.
pw=123
iplist="
10
11
"
for i in $iplist
do
{
ip=$net$i
/usr/bin/expect <<EOF
spawn ssh root@$ip
expect {
"yes/no" {send "yes\n";exp_continue}
"password" {send "$pw\n"}
}
expect {
"*]#" {send "useradd pamu\n"}
"*]#" {send "echo 123|passwd pamu --stdin\n"}
"*]#" {set timeout 1;send "exit\n"}
#不能加exp_continue，不然会一直执行。
}
expect eof
EOF
} &
done
三、字符处理
字符串切片
3.1 基于偏移变量取字符
一、取字符串长度
${#var}
#返回字符串变量var的字符的长度,一个汉字算一个字符
例子：
[root@localhost ~]#str=abc123你好
#定义变量
[root@localhost ~]#echo ${#str}
#使用 字符公式取长度
8
[root@localhost ~]#echo {a..z}
a b c d e f g h i j k l m n o p q r s t u v w x y z
[root@localhost ~]#echo {a..z}|tr -d " "
abcdefghijklmnopqrstuvwxyz
[root@localhost ~]#str=`echo {a..z}|tr -d " "`
[root@localhost ~]#echo $str
abcdefghijklmnopqrstuvwxyz
[root@localhost ~]#echo ${#str}
26
数组：
[root@localhost ~]#a=(a b c v)
[root@localhost ~]#echo ${#a[*]}
4
跳过左边的字符
${var:offset}
#返回字符串变量var中从第offset个字符后（不包括第offset个字符）的字符开始，到最后的部分，offset的取值在0 到 ${#var}-1 之间(bash4.2后，允许为负值)
${var:offset:number}
#返回字符串变量var中从第offset个字符后（不包括第offset个字符）的字符开始，长度为number的部分
例子：
[root@localhost ~]#str=`echo {a..z}|tr -d " "`
[root@localhost ~]#echo $str
abcdefghijklmnopqrstuvwxyz
[root@localhost ~]#echo ${str:2}
#跳过最左边的两个字符 跳过ab
cdefghijklmnopqrstuvwxyz
[root@localhost ~]#echo ${str:2:3}
#跳过前两个， 往后取三个
cde
[root@localhost ~]#echo ${str:0:2}
#取前两个字符
ab
取字符串右边的字符
${var: -length}
#取字符串的最右侧几个字符,取字符串的最右侧几个字符, 注意：冒号后必须有一空白字符
例子：
[root@localhost ~]#echo ${str}
abcdefghijklmnopqrstuvwxyz
[root@localhost ~]#echo ${str:-3}
#不加 空格没有任何变化
abcdefghijklmnopqrstuvwxyz
[root@localhost ~]#echo ${str: -3}
#取字符串右边的 三个字符
xyz
掐头去尾
${var:offset:-length}
#从最左侧跳过offset字符，一直向右取到距离最右侧lengh个字符之前的内容,即:掐头去尾
例子：
[root@localhost ~]#echo ${str:2: -3}
cdefghijklmnopqrstuvw
#跳过前两个字符且跳过倒数三个字符
取倒数的范围
${var: -length:-offset}
#先从最右侧向左取到length个字符开始，再向右取到距离最右侧offset个字符之间的内容,注意：-length前空格,并且length必须大于offset
例子：
[root@localhost ~]#echo ${str: -6}
uvwxyz
[root@localhost ~]#echo ${str: -6: -1}
uvwxy
#倒数6个 到 倒数 1个。
[root@localhost ~]#echo ${str: -3:1}
x
#取字符串右边三个字符 后 取一个字符
3.2基于模式取子串
删左留右
${var#*word}
#其中word可以是指定的任意字符,自左而右，查找var变量所存储的字符串中，第一次出现的word, 删除字符串开头至第一次出现word字符串（含）之间的所有字符,即懒惰模式,以第一个word为界删左留右
#同上，贪婪模式，不同的是，删除的是字符串开头至最后一次由word指定的字符之间的所有内容,即贪婪模
式,以最后一个word为界删左留右
${var##*word}
例子：
懒惰模式：
[root@localhost ~]#url="http://www.baidu.com/index.html"
[root@localhost ~]#echo ${url#*/}
#从左边开始匹配，遇到/ 就把/左边的都删除包括 / 本身
/www.baidu.com/index.html
[root@localhost ~]#url="http://www,baidu.com:8080/index.html"
[root@localhost ~]#echo ${url#*:}
//www,baidu.com:8080/index.html
贪婪模式：
[root@localhost data]#url="http://www.baidu.com/index.html"
[root@localhost data]#
[root@localhost data]#echo ${url##*/}
index.html
#从左边开始匹配 到最后一个 / 并把左边的都删除包括 / 本身
[root@localhost data]#echo ${url##*.}
html
#从左边开始匹配 到最后一个 . 并把左边的都删除包括 . 本身
删右留左
${var%word*}
#其中word可以是指定的任意字符,功能：自右而左，查找var变量所存储的字符串中，第一次出现的word, 删除字符串最后一个字符向左至第一次出现word字符串（含）之间的所有字符,即懒惰模式,以从右向左的第一个word为界删右留左
${var%%word*}
#同上，只不过删除字符串最右侧的字符向左至最后一次出现word字符之间的所有字符,即贪婪模式,以从右向左的最后一个word为界删右留左
例子：
懒惰模式：
[root@localhost ~]#echo $url
http://www.baidu.com:8080/index.html
[root@localhost ~]#echo ${url%:*}
#懒惰模式， 遇到 ： 会把右边删除留下左边
http://www.baidu.com
贪婪模式：
[root@localhost ~]#echo ${url%%:*}
#贪婪模式， 会一直找到所有的 ： 会把左边删除留下右边
http
3.3 查找替换
${var/pattern/substr}
${变量/搜索的字符串/修改的字符串}
#查找var所表示的字符串中，第一次被pattern所匹配到的字符串，以substr替换之
${var//pattern/substr}
#查找var所表示的字符串中，所有能被pattern所匹配到的字符串，以substr替换之
${var/#pattern/substr}
#查找var所表示的字符串中，行首被pattern所匹配到的字符串，以substr替换之
在 此处 #代表开头
${var/%pattern/substr}
#查找var所表示的字符串中，行尾被pattern所匹配到的字符串，以substr替换之
在此处 % 代表结尾
例子：
[root@localhost data]#url=http://www,baidu.com:8080/index.html
[root@localhost data]#echo ${url/http/https}
https://www,baidu.com:8080/index.html
#把 http换成 https
[root@localhost data]#echo ${url}
http://www,baidu.com:8080/index.html
#只是改变显示，内容没变。
[root@localhost ~]#echo ${url/:/+}
http+//www.baidu.com:8080/index.html
[root@localhost ~]#echo ${url//:/+}
#把所有的冒号换成加号
http+//www.baidu.com+8080/index.html
[root@localhost ~]#echo ${user/#lisi/ls}
ls:x:1003:1003::/home/lisi:/bin/bash
#开头的lisi换成ls
[root@localhost ~]#echo ${user/%bash/nologin}
lisi:x:1003:1003::/home/lisi:/bin/nologin
#结尾的bash 换成nologin
3.4 查找并删除
${var/pattern}
#删除var表示的字符串中第一次被pattern匹配到的字符串
${var//pattern}
删除var表示的字符串中所有被pattern匹配到的字符串
${var/#pattern}
删除var表示的字符串中所有以pattern为行首匹配到的字符串
${var/%pattern}
删除var所表示的字符串中所有以pattern为行尾所匹配到的字符串
例子：
[root@localhost data]#useradd lisi
[root@localhost ~]#user=`getent passwd lisi`
[root@localhost ~]#echo ${user}
lisi:x:1003:1003::/home/lisi:/bin/bash
[root@localhost ~]#echo ${user/lisi/}
#没有换的就是 删除
:x:1003:1003::/home/lisi:/bin/bash
3.5 大小写转换
${var^^}
#把var中的所有小写字母转换为大写
${var,,}
#把var中的所有大写字母转换为小写
例子：
[root@localhost data]#zxc=ABCDasdf
[root@localhost data]#echo ${zxc^^}
ABCDASDF
[root@localhost data]#echo ${zxc,,}
abcdasdf
[root@localhost data]#echo ${zxc}
ABCDasdf
四、高级变量
4.1 高级变量赋值
| 变量配置方式 | str没有配置 | str为空字符串 | str已配置非为空字符串 |
|---|---|---|---|
| var=${str-expr} | var=expr | var= | var=$str |
| var=${str:-expr} | var=expr | var=expr | var=$str |
| var=${str+expr} | var= | var=expr | var=expr |
| var=${str:+expr} | var= | var= | var=expr |
| var=${str=expr} | str=expr var=expr | str=不变 var= | str 不变 var=$str |
| var=${str:=expr} | str=expr var=expr | str=expr var=expr | str 不变 var=$str |
| var=${str?expr} | expr 输出至 stderr | var= | var=$str |
| var=${str:?expr} | expr 输出至 stderr | expr 输出至 stderr | var=$str |
例子：
[root@localhost ~]#unset str #使str为没有配置状态
[root@localhost ~]#var=${str-expr}
[root@localhost ~]#echo $var
expr
#var=expr
[root@localhost ~]#str=" " #使str为空字符串
[root@localhost ~]#var=${str-expr}
[root@localhost ~]#echo $var
[root@localhost ~]#
#var=
[root@localhost ~]#str=asa #使str为已配置状态（不是空字符串）
[root@localhost ~]#var=${str-expr}
[root@localhost ~]#echo $var
asa
#var=$str
4.2 变量的间接引用
eval命令
eval命令将会首先扫描命令行进行所有的置换，然后再执行该命令。该命令适用于那些一次扫描无法实现其功能的变量,该命令对变量进行两次扫描
例子：
[root@localhost ~]#n=10
[root@localhost ~]#echo {1..$n}
{1..10}
#这是因为 在输出时只扫描了一次$n，{1..10}未被扫描，所以输出的时{1..10}
[root@localhost ~]#eval echo {1..$n}
1 2 3 4 5 6 7 8 9 10
[root@localhost ~]#i=a
[root@localhost ~]#j=1
[root@localhost ~]#$i$j=hello
bash: a1=hello: 未找到命令...
[root@localhost ~]#eval $i$j=hello #相当于a1=hello
[root@localhost ~]#echo $a1
hello