日志里 grep 到 Fail 就判失败?这六个假阳性我全踩过

日志里 grep 到 Fail 就判失败?这六个假阳性我全踩过

前情:验收结论不是靠人看,是靠脚本 grep 日志。于是"grep 得对不对"直接等于"结论对不对"。本文六个坑都是同一类:字符串层面碰巧对上了,语义完全错。每一条都在本机跑过,输出是真实的。

一、先看最气人的那个

有份日志,最后一行写着:

ini 复制代码
[summary] total=32  succ_count=32  fail_count=0
[result] all_case_test Succ

succ_count=32、fail_count=0、结论 Succ。然后判定脚本说是失败。

shell 复制代码
$ grep -qi fail fake.log && echo "判定:有失败"
判定:有失败

命中的是什么?是 fail_count=0 里的那个 fail。

字段名本身带 "fail",值却是 0。grep -i fail 分不清"字段名"和"字段值",它只认字符。

修法两件事一起做:给 fail 加词边界,再把 fail_count=0 明确排除。

perl 复制代码
# 词边界:fail 前后不能紧挨字母下划线
grep -qE '(^|[^a-z_])fail([^a-z_]|$)' "$LOG"

但更稳的做法是别去猜------判结论只认结构化那一行:

perl 复制代码
grep -q '^\[result\].*Succ' "$LOG"

二、awk $8 取到的不是带宽

解析 iperf3 的汇总行,很多人凭感觉取列:

dart 复制代码
行内容: [SUM]   0.00-10.00  sec  30.5 GBytes  26.2 Gbits/sec    0    sender
  awk '{print $8}'  → [0]        ← 这是重传次数,不是带宽
  awk '{print $6}'  → [26.2]     ← 这行碰巧对

$8 是 Retr(重传)列。而这行还不算最坑的,真正致命的是------重传列不一定存在:

matlab 复制代码
行内容: [SUM]   0.00-10.00  sec  30.5 GBytes  26.2 Gbits/sec  sender
  awk '{print $8}'  → [sender]   ← 列号直接变成 sender

同一份日志,换个 iperf3 版本或换组参数,第 8 列就从 0 变成了 sender。这不是"取错了值",是取到了一个字符串然后当成带宽去比大小。

正确写法只有一种:锚定单位列,取它前面那一列。

css 复制代码
awk '{for(i=1;i<=NF;i++) if($i=="Gbits/sec"){print $(i-1); exit}}'

单位在,带宽就在它左边;重传列有没有、多不多,都不影响。

顺带说一句,-P1 的时候连 [SUM] 行都没有,只有一条 [ 4] 0.00-xxx sec 的整体行。所以判定 iperf 得先分清"逐连接行 / SUM 行 / 汇总假值"三种,别一套正则打天下。

三、grep -o 同行多匹配,换行会带进摘要

日志里一行可能写了好几件事:

bash 复制代码
[result] case=dm test Succ ; case=filter test Fail

想取 case 名:

python 复制代码
$ grep -o 'case=[a-z]*'
case=dm
case=filter

两个结果,分两行。如果你把它塞进一个变量再写进表格:

bash 复制代码
r=$(grep -o 'case=[a-z]*' log)     # 变量里带着换行
echo "结论: $r"                     # 表格直接被撑破

表格就错行了。修法两个层次:

bash 复制代码
# 只要第一个
grep -o 'case=[a-z]*' log | head -1

# 要整段摘要,先把换行/制表符压平
... | head -1 | tr '\n\t' '  '

tr 这一步在"把多行拼进一行表格"时几乎必须有,忘了它就会出现"表格里某一行动不动就很长、后面全错位"。

四、printf 里的 % 会被当成格式符

这个坑不看输出根本想不到:

bash 复制代码
$ printf '进度...(21%)...完成\n'
./demo.sh: line 47: printf: `)': invalid format character
进度...(21

% 被当成格式符,%) 不是合法格式,于是从 % 往后全丢了,还顺手报了个错。

触发它的场景特别日常:打进度、打百分比、打 100%。

bash 复制代码
# 错
printf "完成度 90%...\n"

# 对:把内容交给 %s
printf '%s\n' "完成度 90%..."

或者干脆用 echo------echo 不解释 %。但只要内容里有反斜杠或 -n 开头,echo 又有别的脾气,所以在脚本里我统一用 printf '%s\n' "..."。

五、grep -c 数的是行数,不是次数

shell 复制代码
$ echo '[result] a Succ b Succ' | grep -c 'Succ'
1
$ echo '[result] a Succ b Succ' | grep -o 'Succ' | wc -l
2

一行里出现两次,grep -c 只算 1。如果你的统计是"512 颗卡,每颗一行 Succ",那 grep -c 没问题;但只要格式变成"一行里列多个",数字就悄悄少一半。

判断标准很简单:你要数的是"行"还是"次"? 数行用 -c,数次数必须 -o | wc -l。

六、大写 FAIL 被小写匹配漏掉

shell 复制代码
$ echo '[RESULT] case=pcie status=FAIL' | grep -q 'fail' && echo 命中 || echo 漏判
漏判

日志是别人写的,大小写不归你管。要么 -i,要么把枚举写全:

perl 复制代码
grep -qi 'fail'
grep -qE 'status=(FAIL|Fail|fail)'

我倾向第二种:-i 会让 Fail 去匹配 failed_to_start、Failure 之类,虽然多数时候无害,但在"必须精确"的判定里不如枚举稳。

七、还有两个比上面更隐蔽的

上面六个是"字符串层面"的错,还有两类是"逻辑层面"的:

1. 同一条结论在日志里出现两次,分母翻倍

很多测试会打两遍结论:单例跑完打一次,最后汇总再打一次。如果你的解析是"数到几个 Succ 就是几项通过",分母直接翻倍。真实踩过:8g 那组明明是 3/3,表格里显示成 6/6。

修法:按 case= 去重,保留最后一条。

scss 复制代码
awk '/^\[result\]/ {match($0,/case=[^ ]+/); k=substr($0,RSTART,RLENGTH); last[k]=$0} END{for(k in last) print last[k]}' "$LOG"

2. 多行 [result] 拼起来 grep,历史 Fail 会永久生效

有份日志是这样的:

ini 复制代码
[result] case=dm test Fail
(重跑)
[result] case=dm test Succ
[result] all_case_test Succ

如果解析器把这几行拼成一个字符串再 grep -q Fail,那这条记录永远是 Fail------因为历史上失败过一次。文末追加的成功结论读不到。

正确做法是取最后一条整体结论:

bash 复制代码
grep -E '\[result\].*test (Succ|Fail)' "$LOG" | tail -1

但如果中途被杀、只剩逐例结论,那就退回逐例判断,而且此前任一例 Fail 仍算整体 Fail------截断的日志不能因为最后一例 PASS 就算通过。

八、怎么验证你的解析是对的

这条比前面所有坑都重要:光证明"新写法把这次判对了"是不够的。

标准做法是反向测试------造两份假日志:

ini 复制代码
# 应该判 Fail 的:3 例里 2 例失败
cat > t_fail.log <<'EOF'
[result] case=a test Succ
[result] case=b test Fail
[result] case=c test Fail
[result] all_case_test Fail
EOF

# 应该判 Succ 的:3 例全过
cat > t_succ.log <<'EOF'
[result] case=a test Succ
[result] case=b test Succ
[result] case=c test Succ
[result] all_case_test Succ
EOF

改完解析器,两份都要跑。只测通过样本的解析器,等于没测------任何"永远返回 Succ"的实现都能过。

还有一条纪律:验证器里的判定逻辑要从被测脚本里原样抽出来 (按函数名 awk 抽取,或用哨兵 sed -n),别另写一份"等价逻辑"。另写的那份总会和被测的那份慢慢分叉,然后你就开始相信一个已经不存在的实现。

九、清单

  • 判结论优先认 [result] 结构化行,不要 grep -i fail 这种模糊匹配。
  • 必须模糊匹配时加词边界,并排除 fail_count=0。
  • 取数值锚定单位列,不锚列号。
  • grep -o 的结果拼进表格前一定 head -1 + tr '\n\t' ' '。
  • printf 里出现用户的字符串,一律 printf '%s\n' "..."。
  • 分清"数行"(-c)和"数次数"(-o | wc -l)。
  • 大小写枚举写全,别指望日志的写法。
  • 同一结论出现多次按 case= 去重保留最后一条,否则分母翻倍。
  • 多行结论取最后一条整体结论,但截断日志里出现过 Fail 就不能算过。
  • 改完解析器必须跑反向样本(该挂的要挂),只测通过样本等于没测。

十、完整复现脚本

一个文件,不用下载附件 ,存成 demo.sh 直接跑,六条假阳性的"错误写法输出 vs 正确写法输出"会一次全部打出来。

bash 复制代码
#!/bin/bash
# 日志解析的六个假阳性:每条先看"错误写法给出的答案",再看"真正发生了什么"
cd "$(dirname "$0")"

LOG=fake.log
cat > "$LOG" <<'EOF'
[batch-1] cpu_01 ... ok
[batch-2] cpu_02 ... ok
[summary] total=32  succ_count=32  fail_count=0
[result] all_case_test Succ
EOF

echo "=================== 1. grep -i Fail 命中 fail_count=0 ==================="
echo "日志里的关键行: $(grep 'summary' "$LOG")"
if grep -qi fail "$LOG"; then echo "  [错误写法] grep -qi fail  → 判定:有失败"; else echo "  [错误写法] 无失败"; fi
if grep -qE '(^|[^a-z_])fail([^a-z_]|$)' "$LOG" && ! grep -q 'fail_count=0' <<<"$(grep -E '(^|[^a-z_])fail([^a-z_]|$)' "$LOG")"; then
  echo "  [正确写法] 仍未命中真失败"
else
  echo "  [正确写法] 用词边界匹配 + 排除 fail_count=0 → 判定:无失败"
fi

echo ""
echo "=================== 2. awk \$8 取带宽 ==================="
LINE='[SUM]   0.00-10.00  sec  30.5 GBytes  26.2 Gbits/sec    0    sender'
echo "行内容: $LINE"
echo "  [错误写法] awk '{print \$8}'  → [$(echo "$LINE" | awk '{print $8}')]   ← 这是重传列,不是带宽"
echo "  [正确写法] 锚定单位列取前一列 → [$(echo "$LINE" | awk '{for(i=1;i<=NF;i++) if($i=="Gbits/sec"){print $(i-1); exit}}')]"
echo ""
echo "  真正致命的是:重传列不一定存在(不同版本/不同参数)"
LINE2='[SUM]   0.00-10.00  sec  30.5 GBytes  26.2 Gbits/sec  sender'
echo "    行内容: $LINE2"
echo "    awk '{print \$8}' → [$(echo "$LINE2" | awk '{print $8}')]  ← 列号直接变成 sender"
echo "    锚定单位列      → [$(echo "$LINE2" | awk '{for(i=1;i<=NF;i++) if($i=="Gbits/sec"){print $(i-1); exit}}')]"

echo ""
echo "=================== 3. grep -o 同行多匹配会带换行 ==================="
S='[result] case=dm test Succ ; case=filter test Fail'
echo "行内容: $S"
echo "  [错误写法] grep -o 'case=[a-z]*' 输出:"
grep -o 'case=[a-z]*' <<<"$S" | sed 's/^/      /'
echo "  [正确写法] 加 head -1 → [$(grep -o 'case=[a-z]*' <<<"$S" | head -1)]"
echo "  [正确写法] 用摘要时必须 tr 掉换行 → [$(grep -oE 'case=[a-z]+ test (Succ|Fail)' <<<"$S" | head -1 | tr '\n\t' '  ')]"

echo ""
echo "=================== 4. printf 里的 % 被当格式符 ==================="
echo "  [错误写法] printf '进度...(21%)...完成'"
printf '进度...(21%)...完成\n' 2>&1 | sed 's/^/      /'
echo "  [正确写法] printf '%s\\n' '进度...(21%)...完成'"
printf '%s\n' '进度...(21%)...完成' | sed 's/^/      /'

echo ""
echo "=================== 5. grep -c 数的是行数,不是次数 ==================="
echo "同一行里出现两次 Succ:"
echo "  grep -c 结果 = $(printf '[result] a Succ b Succ\n' | grep -c 'Succ')"
echo "  grep -o | wc -l 结果 = $(printf '[result] a Succ b Succ\n' | grep -o 'Succ' | wc -l)"

echo ""
echo "=================== 6. 大写 FAIL 被小写匹配漏掉 ==================="
U='[RESULT] case=pcie status=FAIL'
echo "行内容: $U"
echo "  [错误写法] grep -q 'fail'        → $(grep -q 'fail' <<<"$U" && echo 命中 || echo 漏判)"
echo "  [正确写法] grep -qi 'fail'       → $(grep -qi 'fail' <<<"$U" && echo 命中 || echo 漏判)"
echo "  [正确写法] grep -qE 'status=(FAIL|Fail|fail)' → $(grep -qE 'status=(FAIL|Fail|fail)' <<<"$U" && echo 命中 || echo 漏判)"

跑法:

bash 复制代码
chmod +x demo.sh
./demo.sh

第三节验证"解析器到底对不对"用的两份样本(t_fail.log / t_succ.log),完整内容就在本文第八节里,照抄成两个文件即可。

再强调一遍:只跑 t_succ.log 的解析器等于没测 ,必须跑 t_fail.log 证明它该挂的时候真的会挂。

相关推荐
爱吃香菜的初学者1 小时前
二十五.Linux——epoll
linux·运维·服务器
少司府1 小时前
嵌入式外设篇(一)GPIO·一:认识GPIO
linux·单片机·嵌入式硬件·mcu·系统·rtos·嵌入式软件
无奈笑天下3 小时前
银河麒麟上DHCP无法获取IP地址问题处理
linux·运维·服务器·网络协议
蜗牛一步步往上爬3 小时前
第六章 使用Linux环境变量
linux·运维
Vex2une4 小时前
电脑装双系统怎么弄?Win+Win 与 Win+Linux 安装及启动菜单管理全攻略
linux·windows·电脑·uefi·双系统安装·bcdedit启动项
StarsGreen5 小时前
Linux动态 DMA 映射指南(翻译版)
linux
StarsGreen10 小时前
Linux 网络配置命令参考
linux
Eyfcom1 天前
〖物流 SaaS 实战 02〗SaaS 租户的计费与订阅模型:从“一锤子买卖”到“按需订阅”
linux·服务器·数据库·快递系统·物流saas实战