awk入门练习题

Atri厨2025-12-28 13:31

一、检测两台服务器指定目录下的文件一致性

启动两台虚拟机即可。端口22号开放，且root用户能被SSH远程登陆。

bash 复制代码 
#!/bin/bash
#####################################
#检测两台服务器指定目录下的文件一致性
#####################################
#通过对比两台服务器上文件的md5值，达到检测一致性的目的
dir=/data/web
b_ip=192.168.230.129
#将指定目录下的文件全部遍历出来并作为md5sum命令的参数，进而得到所有文件的md5值，并写入到指定文件中
find $dir -type f|xargs md5sum > /tmp/md5_a.txt
ssh $b_ip "find $dir -type f|xargs md5sum > /tmp/md5_b.txt"
scp $b_ip:/tmp/md5_b.txt /tmp
#将文件名作为遍历对象进行一一比对
for f in $(awk '{print $2}' /tmp/md5_a.txt)
do
    #以a机器为标准，当b机器不存在遍历对象中的文件时直接输出不存在的结果
    if grep -qw "$f" /tmp/md5_b.txt
    then
        md5_a=`grep -w "$f" /tmp/md5_a.txt|awk '{print $1}'`
        md5_b=`grep -w "$f" /tmp/md5_b.txt|awk '{print $1}'`
        #当文件存在时，如果md5值不一致则输出文件改变的结果
        if [ $md5_a != $md5_b ]
        then
            echo "$f changed."
        fi
    else
        echo "$f deleted."
    fi
done

确保两主机有相同相同的目录：

  • 建议两主机在一个相同的目录创建一个相同或不同的普通文件；
  • 也可以用本地拥有的目录，在相同目录下进行更改；

3.确保两个主机开机：

A机编写脚本，B机待机；

二、定时清空文件内容，定时记录文件大小

bash 复制代码 
2、定时清空文件内容，定时记录文件大小

#!/bin/bash
################################################################
#每小时执行一次脚本（任务计划），当时间为0点或12点时，将目标目录下的所有文件内
#容清空，但不删除文件，其他时间则只统计各个文件的大小，一个文件一行，输出到以时#间和日期命名的文件中，需要考虑目标目录下二级、三级等子目录的文件
################################################################
logfile=/tmp/`date +%H-%F`.log
n=`date +%H`
if [ $n -eq 00 ] || [ $n -eq 12 ]
then
    #通过for循环，以find命令作为遍历条件，将目标目录下的所有文件进行遍历并做相应操作
    for i in `find /data/log/ -type f`
    do
        true > $i
    done
else
    for i in `find /data/log/ -type f`
    do
        du -sh $i >> $logfile
    done
fi

三、检测网卡流量，并按规定格式记录在日志中

bash 复制代码 
#!/bin/bash
#######################################################
#检测网卡流量，并按规定格式记录在日志中
#规定一分钟记录一次
#日志格式如下所示:
#2019-08-12 20:40
#ens33 input: 1234bps
#ens33 output: 1235bps
######################################################3
while :
do
    #设置语言为英文，保障输出结果是英文，否则会出现bug
    LANG=en
    logfile=/tmp/`date +%d`.log
    #将下面执行的命令结果输出重定向到logfile日志中
    exec >> $logfile
    date +"%F %H:%M"
    #sar命令统计的流量单位为kb/s，日志格式为bps，因此要*1000*8
    sar -n DEV 1 59|grep Average|grep ens33|awk '{print $2,"\t","input:","\t",$5*1000*8,"bps","\n",$2,"\t","output:","\t",$6*1000*8,"bps"}'
    echo "####################"
    #因为执行sar命令需要59秒，因此不需要sleep
done

日志存在性

日志文件已生成，37 kB 有内容 ；

② 格式检查

每 1 分钟一条时间戳 + 分隔线，格式正确；

③ 时间连续性

每分钟都有记录，间隔连续（重复是因脚本 1 分钟触发 2 次，影响不大）；

④ 数值变化（流量验证）

用 pv 跑出 ≈15 MB/s 出方向流量；

下一分钟日志（20:52）已落盘，带宽数值明显上涨；

四、计算文档每行出现的数字个数，并计算整个文档的数字总数

bash 复制代码 
#!/bin/bash
#########################################################
#计算文档每行出现的数字个数，并计算整个文档的数字总数
########################################################
#使用awk只输出文档行数（截取第一段）
n=`wc -l a.txt|awk '{print $1}'`
sum=0
#文档中每一行可能存在空格，因此不能直接用文档内容进行遍历
for i in `seq 1 $n`
do
    #输出的行用变量表示时，需要用双引号
    line=`sed -n "$i"p a.txt`
    #wc -L选项，统计最长行的长度
    n_n=`echo $line|sed s'/[^0-9]//'g|wc -L`
    echo $n_n
    sum=$[$sum+$n_n]
done
echo "sum:$sum"

五、监测 Nginx 访问日志 502 情况，并做相应动作

复制代码 
假设服务器环境为 lnmp，近期访问经常出现 502 现象，
且 502 错误在重启 php-fpm 服务后消失，因此需要编写监控脚本，
一旦出现 502，则自动重启 php-fpm 服务。
bash 复制代码 
#场景：
#1.访问日志文件的路径：/data/log/access.log
#2.脚本死循环，每10秒检测一次，10秒的日志条数为300条，出现502的比例不低于10%（30条）则需要重启php-fpm服务
#3.重启命令为：/etc/init.d/php-fpm restart
#!/bin/bash
###########################################################
#监测Nginx访问日志502情况，并做相应动作
###########################################################
log=/data/log/access.log
N=30 #设定阈值
while :
do
    #查看访问日志的最新300条，并统计502的次数
    err=`tail -n 300 $log |grep -c '502" '`
    if [ $err -ge $N ]
    then
        /etc/init.d/php-fpm restart 2> /dev/null
        #设定60s延迟防止脚本bug导致无限重启php-fpm服务
        sleep 60
    fi
    sleep 10
done
复制代码

六、扫描主机端口状态

bash 复制代码 
#!/bin/bash
HOST=$1
PORT="22 25 80 8080"
for PORT in $PORT; do
    if echo &>/dev/null > /dev/tcp/$HOST/$PORT; then
        echo "$PORT open"
    else
        echo "$PORT close"
    fi
done
复制代码

七、创建10个用户，并分别设置密码，密码要求10位且包含大小写字母以及数字， 最后需要把每个用户的密码存在指定文件中。

bash 复制代码 
#!/bin/bash

# 功能：批量创建 10 个用户并生成合规密码，最后导出密码表

# 1. 若 mkpasswd 不存在，先安装 expect（用于 mkpasswd）
if ! command -v mkpasswd &>/dev/null; then
    yum -y install expect || apt-get -y install expect
fi

# 2. 把用户和密码文件先清空
for i in $(seq -w 0 9); do
    userdel -r user_$i 2>/dev/null
done
>/test/test_week13/userpassword.txt

# 3. 主循环：创建用户 + 设置密码
for i in $(seq -w 0 9); do
    USER="user_$i"
    
    # 生成 10 位复杂密码（含大小写+数字）
    PASS=$(tr -dc 'a-zA-Z0-9' </dev/urandom | head -c 10)

    # 创建用户并设置密码（无交互）
    useradd "$USER" -m -s /bin/bash
    echo "$USER:$PASS" | chpasswd

    # 记录到文件
    echo "$USER:$PASS" >> /test/test_week13/userpassword.txt
done

# 4. 结果查看
echo "=== 用户与密码已生成 ==="
cat /test/test_week13/userpassword.txt
复制代码

八、批量修改服务器用户密码

bash 复制代码 
#!/bin/bash  
OLD_INFO=old_pass.txt  
NEW_INFO=new_pass.txt  
for IP in $(awk '/^[^#]/{print $1}' $OLD_INFO); do  
    USER=$(awk -v I=$IP 'I==$1{print $2}' $OLD_INFO)  
    PASS=$(awk -v I=$IP 'I==$1{print $3}' $OLD_INFO)  
    PORT=$(awk -v I=$IP 'I==$1{print $4}' $OLD_INFO)  
    NEW_PASS=$(mkpasswd -l 8)  # 随机密码  
    echo "$IP   $USER   $NEW_PASS   $PORT" >> $NEW_INFO  
    expect -c "  
    spawn ssh -p$PORT $USER@$IP  
    set timeout 2  
    expect {  
        \"(yes/no)\" {send \"yes\r\";exp_continue}  
        \"password:\" {send \"$PASS\r\";exp_continue}  
        \"$USER@*\" {send \"echo \'$NEW_PASS\' |passwd --stdin $USER\r exit\r\";exp_continue}  
    }"  
done

旧密码：

复制代码 
# cat old_pass.txt   
192.168.18.217  root    123456     22  
192.168.18.218  root    123456     22
内容格式：IP User Password Port

新密码：随机生成

九、查看CPU资源占用率的脚本文件

bash 复制代码 
#!/bin/bash  
  
# 定义一个函数来显示CPU占用率  
show_cpu() {
    # 使用top命令获取CPU占用率信息，并只显示第一行（包含CPU占用率的部分）  
    top -bn1 | grep "Cpu(s)"
}
 
# 调用函数显示CPU占用率  
show_cpu


另一个：
#!/bin/bash  
# 定义一个函数来显示指定时间间隔的平均CPU占用率  
show_cpu_avg() {
    interval=$1
    mpstat -P ALL $interval 1 | tail -n +3
}
 
# 调用函数显示过去5秒的平均CPU占用率  
show_cpu_avg 5

十、生成磁盘使用情况的日志文件

bash 复制代码 
#!/bin/bash  
  
# 定义日志文件的路径和名称  
LOG_FILE="/tmp/2.log"
 
# 使用df命令获取磁盘使用情况，并格式化输出  
DISK_USAGE=$(df -h)
 
# 将磁盘使用情况追加到日志文件中  
echo "$(date '+%Y-%m-%d %H:%M:%S') - Disk Usage:" >> "$LOG_FILE"
echo "$DISK_USAGE" >> "$LOG_FILE"
echo "--------------------------------------------------------" >> "$LOG_FILE"
 
echo "$(date '+%Y-%m-%d %H:%M:%S') - Disk Usage:"  
echo "$DISK_USAGE"  
 
# 完成提示  
echo "你的磁盘使用情况被记录到 $LOG_FILE"

十一、监控 httpd 的进程数，根据监控情况做相应处理

复制代码 
需求:
#1.每隔10s监控httpd的进程数，若进程数大于等于500，则自动重启Apache服务，并检测服务是否重启成功
#2.若未成功则需要再次启动，若重启5次依旧没有成功，则向管理员发送告警邮件，并退出检测
#3.如果启动成功，则等待1分钟后再次检测httpd进程数，若进程数正常，则恢复正常检测（10s一次），否则放弃重启并向管理员发送告警邮件，并退出检测
bash 复制代码 
#!/bin/bash

# 功能：监控 httpd 进程数，超 500 自动重启 Apache，5 次失败发邮件退出

APACHECTL=/usr/local/apache2/bin/apachectl    # Apache 控制脚本
LOG=/var/log/httpderr.log                     # 错误日志
MAIL_SCRIPT=/usr/local/bin/mail.py            # 告警邮件脚本（需自备）
MAX_RETRY=5                                   # 最多重启次数
MAX_PROC=500                                  # 进程数阈值

# 发邮件并退出函数
send_mail_exit() {
    echo "$(date '+%F %T') 已达到最大失败次数或重启后仍异常，发送告警邮件并退出" >> $LOG
    [[ -x $MAIL_SCRIPT ]] && $MAIL_SCRIPT
    exit 1
}

# 重启 Apache 函数（带重试）
restart_apache() {
    local j=0
    while [[ $j -lt $MAX_RETRY ]]; do
        $APACHECTL restart 2>>$LOG
        if [[ $? -eq 0 ]]; then
            return 0  # 成功
        fi
        ((j++))
        sleep 3
    done
    return 1  # 失败
}

# 主循环：每 10 秒检测一次
while :; do
    n=$(pgrep -c httpd)  # 当前进程数
    echo "$(date '+%F %T') 当前 httpd 进程数: $n" >> $LOG

    if [[ $n -ge $MAX_PROC ]]; then
        echo "$(date '+%F %T') 进程数 >= $MAX_PROC，开始重启 Apache" >> $LOG
        restart_apache || send_mail_exit  # 重启失败或超 5 次 → 发邮件退出
    fi

    # 重启成功 → 等待 1 分钟再验证
    sleep 60
    n2=$(pgrep -c httpd)
    echo "$(date '+%F %T') 重启后 1 分钟进程数: $n2" >> $LOG
    if [[ $n2 -ge $MAX_PROC ]]; then
        echo "$(date '+%F %T') 重启后仍 >= $MAX_PROC，放弃重启" >> $LOG
        send_mail_exit
    fi

    sleep 10
done

之间运行即可。

十二、根据web访问日志，封禁请求量异常的IP，如IP在半小时后恢复正常，则解除封禁

环境准备：

先准备4个普通空文件。这四个空文件给下面脚本使用。

bash 复制代码 
#!/bin/bash

# 功能：根据 Web 日志自动封禁/解封异常 IP

logfile=/data/log/access.log      # Web 日志路径
ipt=/sbin/iptables               # iptables 命令路径
ips=/tmp/ips.txt                 # 临时 IP 列表文件
bad_log=/tmp/badip.log           # 封禁/解封操作日志

# 1. 获取"1 分钟前"时间戳（小时:分钟）
d1=$(date -d '-1 minute' +%H:%M)
d2=$(date +%M)                   # 当前分钟（00 或 30 等）

# 2. 封禁函数：1 分钟前访问 >100 次的 IP
block() {
    # 提取 1 分钟前日志 → 统计 IP 访问次数
    grep "$d1" "$logfile" | awk '{print $1}' | sort | uniq -c | sort -nr > "$ips"

    # 遍历 >100 次的 IP
    while read -r count ip; do
        [[ $count -gt 100 ]] || continue

        # 若存在规则则跳过
        $ipt -C INPUT -p tcp --dport 80 -s "$ip" -j REJECT 2>/dev/null && continue

        # 封禁
        $ipt -I INPUT -p tcp --dport 80 -s "$ip" -j REJECT
        echo "$(date '+%F-%T') block $ip" >> "$bad_log"
    done < "$ips"
}

# 3. 解封函数：pkts<10 的 IP 认为已恢复
unblock() {
    # 逐条读取 INPUT 链，pkts<10 且源 IP 非 0.0.0.0/0
    $ipt -nvL INPUT --line-numbers |
    awk '$2<10 && $9!="0.0.0.0/0" && $9!~/^[0-9]/ {print $1,$9}' |
    sort -nr |
    while read -r line ip; do
        $ipt -D INPUT "$line"
        echo "$(date '+%F-%T') unblock $ip" >> "$bad_log"
    done
}

# 4. 主逻辑：先解封再封禁（防止刚封时 pkts 很小被误解）
if [[ "$d2" == "00" || "$d2" == "30" ]]; then
    unblock
    block
else
    block
fi

# 5. 清零计数器（可选）
$ipt -Z

直接./运行即可

相关推荐
胖好白2 小时前
【RK3588开发】RK3588的Debian系统环境搭建
linux·vscode·debian
Alex Cafu2 小时前
Linux网络编程1（OSI模型与TCP/IP协议栈）
linux·c语言·网络·tcp/ip
zhglhy2 小时前
ckman创建集群报错 数据校验失败: invaild ip range
服务器·网络·tcp/ip
极客小云2 小时前
【2026年Docker国内镜像源最新可用清单与配置指南】
运维·docker·容器
玄同7652 小时前
Python 流程控制：LLM 批量推理与 API 限流处理
服务器·人工智能·python·深度学习·自然语言处理·数据挖掘·知识图谱
乾元2 小时前
生成对抗样本在网络安全中的工程化解读——AI 误报、误判与对抗的真实边界
运维·网络·人工智能·python·安全·web安全
zeijiershuai2 小时前
Linux、Linux常用命令、Linux软件安装、Linux项目部署
linux·运维·服务器
小宇的天下2 小时前
Calibre nmDRC 高级边缘处理与输出控制（17）
linux·运维·lvs
java_logo3 小时前
Caddy Docker 容器化部署指南
运维·docker·容器·caddy部署·caddy部署文档·caddy部署教程·docker部署caddy
热门推荐
01GitHub 镜像站点02从快手“12·22”直播攻击事件看：一次教科书式的业务层饱和攻击03电脑检测软件—图吧工具箱04Web安全中SQL注入绕过WAF的具体手法和实战案例05Linux下V2Ray安装配置指南063D 圣诞树网页代码07UV安装并设置国内源08SQLmap 完整使用指南：环境搭建 + 命令详解 + 实操案例09jdk21下载、安装（Windows、Linux、macOS）10在VSCode配置Java开发环境的保姆级教程（适配各类AI编程IDE）