日志里 grep 到 Fail 就判失败?这六个假阳性我全踩过
前情:验收结论不是靠人看,是靠脚本 grep 日志。于是"grep 得对不对"直接等于"结论对不对"。本文六个坑都是同一类:字符串层面碰巧对上了,语义完全错。每一条都在本机跑过,输出是真实的。
一、先看最气人的那个
有份日志,最后一行写着:
ini
[summary] total=32 succ_count=32 fail_count=0
[result] all_case_test Succ
succ_count=32、fail_count=0、结论 Succ。然后判定脚本说是失败。
shell
$ grep -qi fail fake.log && echo "判定:有失败"
判定:有失败
命中的是什么?是 fail_count=0 里的那个 fail。
字段名本身带 "fail",值却是 0。grep -i fail 分不清"字段名"和"字段值",它只认字符。
修法两件事一起做:给 fail 加词边界,再把 fail_count=0 明确排除。
perl
# 词边界:fail 前后不能紧挨字母下划线
grep -qE '(^|[^a-z_])fail([^a-z_]|$)' "$LOG"
但更稳的做法是别去猜------判结论只认结构化那一行:
perl
grep -q '^\[result\].*Succ' "$LOG"
二、awk $8 取到的不是带宽
解析 iperf3 的汇总行,很多人凭感觉取列:
dart
行内容: [SUM] 0.00-10.00 sec 30.5 GBytes 26.2 Gbits/sec 0 sender
awk '{print $8}' → [0] ← 这是重传次数,不是带宽
awk '{print $6}' → [26.2] ← 这行碰巧对
$8 是 Retr(重传)列。而这行还不算最坑的,真正致命的是------重传列不一定存在:
matlab
行内容: [SUM] 0.00-10.00 sec 30.5 GBytes 26.2 Gbits/sec sender
awk '{print $8}' → [sender] ← 列号直接变成 sender
同一份日志,换个 iperf3 版本或换组参数,第 8 列就从 0 变成了 sender。这不是"取错了值",是取到了一个字符串然后当成带宽去比大小。
正确写法只有一种:锚定单位列,取它前面那一列。
css
awk '{for(i=1;i<=NF;i++) if($i=="Gbits/sec"){print $(i-1); exit}}'
单位在,带宽就在它左边;重传列有没有、多不多,都不影响。
顺带说一句,
-P1的时候连[SUM]行都没有,只有一条[ 4] 0.00-xxx sec的整体行。所以判定 iperf 得先分清"逐连接行 / SUM 行 / 汇总假值"三种,别一套正则打天下。
三、grep -o 同行多匹配,换行会带进摘要
日志里一行可能写了好几件事:
bash
[result] case=dm test Succ ; case=filter test Fail
想取 case 名:
python
$ grep -o 'case=[a-z]*'
case=dm
case=filter
两个结果,分两行。如果你把它塞进一个变量再写进表格:
bash
r=$(grep -o 'case=[a-z]*' log) # 变量里带着换行
echo "结论: $r" # 表格直接被撑破
表格就错行了。修法两个层次:
bash
# 只要第一个
grep -o 'case=[a-z]*' log | head -1
# 要整段摘要,先把换行/制表符压平
... | head -1 | tr '\n\t' ' '
tr 这一步在"把多行拼进一行表格"时几乎必须有,忘了它就会出现"表格里某一行动不动就很长、后面全错位"。
四、printf 里的 % 会被当成格式符
这个坑不看输出根本想不到:
bash
$ printf '进度...(21%)...完成\n'
./demo.sh: line 47: printf: `)': invalid format character
进度...(21
% 被当成格式符,%) 不是合法格式,于是从 % 往后全丢了,还顺手报了个错。
触发它的场景特别日常:打进度、打百分比、打 100%。
bash
# 错
printf "完成度 90%...\n"
# 对:把内容交给 %s
printf '%s\n' "完成度 90%..."
或者干脆用 echo------echo 不解释 %。但只要内容里有反斜杠或 -n 开头,echo 又有别的脾气,所以在脚本里我统一用 printf '%s\n' "..."。
五、grep -c 数的是行数,不是次数
shell
$ echo '[result] a Succ b Succ' | grep -c 'Succ'
1
$ echo '[result] a Succ b Succ' | grep -o 'Succ' | wc -l
2
一行里出现两次,grep -c 只算 1。如果你的统计是"512 颗卡,每颗一行 Succ",那 grep -c 没问题;但只要格式变成"一行里列多个",数字就悄悄少一半。
判断标准很简单:你要数的是"行"还是"次"? 数行用 -c,数次数必须 -o | wc -l。
六、大写 FAIL 被小写匹配漏掉
shell
$ echo '[RESULT] case=pcie status=FAIL' | grep -q 'fail' && echo 命中 || echo 漏判
漏判
日志是别人写的,大小写不归你管。要么 -i,要么把枚举写全:
perl
grep -qi 'fail'
grep -qE 'status=(FAIL|Fail|fail)'
我倾向第二种:-i 会让 Fail 去匹配 failed_to_start、Failure 之类,虽然多数时候无害,但在"必须精确"的判定里不如枚举稳。
七、还有两个比上面更隐蔽的
上面六个是"字符串层面"的错,还有两类是"逻辑层面"的:
1. 同一条结论在日志里出现两次,分母翻倍
很多测试会打两遍结论:单例跑完打一次,最后汇总再打一次。如果你的解析是"数到几个 Succ 就是几项通过",分母直接翻倍。真实踩过:8g 那组明明是 3/3,表格里显示成 6/6。
修法:按 case= 去重,保留最后一条。
scss
awk '/^\[result\]/ {match($0,/case=[^ ]+/); k=substr($0,RSTART,RLENGTH); last[k]=$0} END{for(k in last) print last[k]}' "$LOG"
2. 多行 [result] 拼起来 grep,历史 Fail 会永久生效
有份日志是这样的:
ini
[result] case=dm test Fail
(重跑)
[result] case=dm test Succ
[result] all_case_test Succ
如果解析器把这几行拼成一个字符串再 grep -q Fail,那这条记录永远是 Fail------因为历史上失败过一次。文末追加的成功结论读不到。
正确做法是取最后一条整体结论:
bash
grep -E '\[result\].*test (Succ|Fail)' "$LOG" | tail -1
但如果中途被杀、只剩逐例结论,那就退回逐例判断,而且此前任一例 Fail 仍算整体 Fail------截断的日志不能因为最后一例 PASS 就算通过。
八、怎么验证你的解析是对的
这条比前面所有坑都重要:光证明"新写法把这次判对了"是不够的。
标准做法是反向测试------造两份假日志:
ini
# 应该判 Fail 的:3 例里 2 例失败
cat > t_fail.log <<'EOF'
[result] case=a test Succ
[result] case=b test Fail
[result] case=c test Fail
[result] all_case_test Fail
EOF
# 应该判 Succ 的:3 例全过
cat > t_succ.log <<'EOF'
[result] case=a test Succ
[result] case=b test Succ
[result] case=c test Succ
[result] all_case_test Succ
EOF
改完解析器,两份都要跑。只测通过样本的解析器,等于没测------任何"永远返回 Succ"的实现都能过。
还有一条纪律:验证器里的判定逻辑要从被测脚本里原样抽出来 (按函数名 awk 抽取,或用哨兵 sed -n),别另写一份"等价逻辑"。另写的那份总会和被测的那份慢慢分叉,然后你就开始相信一个已经不存在的实现。
九、清单
- 判结论优先认
[result]结构化行,不要grep -i fail这种模糊匹配。 - 必须模糊匹配时加词边界,并排除
fail_count=0。 - 取数值锚定单位列,不锚列号。
-
grep -o的结果拼进表格前一定head -1+tr '\n\t' ' '。 -
printf里出现用户的字符串,一律printf '%s\n' "..."。 - 分清"数行"(
-c)和"数次数"(-o | wc -l)。 - 大小写枚举写全,别指望日志的写法。
- 同一结论出现多次按
case=去重保留最后一条,否则分母翻倍。 - 多行结论取最后一条整体结论,但截断日志里出现过 Fail 就不能算过。
- 改完解析器必须跑反向样本(该挂的要挂),只测通过样本等于没测。
十、完整复现脚本
一个文件,不用下载附件 ,存成 demo.sh 直接跑,六条假阳性的"错误写法输出 vs 正确写法输出"会一次全部打出来。
bash
#!/bin/bash
# 日志解析的六个假阳性:每条先看"错误写法给出的答案",再看"真正发生了什么"
cd "$(dirname "$0")"
LOG=fake.log
cat > "$LOG" <<'EOF'
[batch-1] cpu_01 ... ok
[batch-2] cpu_02 ... ok
[summary] total=32 succ_count=32 fail_count=0
[result] all_case_test Succ
EOF
echo "=================== 1. grep -i Fail 命中 fail_count=0 ==================="
echo "日志里的关键行: $(grep 'summary' "$LOG")"
if grep -qi fail "$LOG"; then echo " [错误写法] grep -qi fail → 判定:有失败"; else echo " [错误写法] 无失败"; fi
if grep -qE '(^|[^a-z_])fail([^a-z_]|$)' "$LOG" && ! grep -q 'fail_count=0' <<<"$(grep -E '(^|[^a-z_])fail([^a-z_]|$)' "$LOG")"; then
echo " [正确写法] 仍未命中真失败"
else
echo " [正确写法] 用词边界匹配 + 排除 fail_count=0 → 判定:无失败"
fi
echo ""
echo "=================== 2. awk \$8 取带宽 ==================="
LINE='[SUM] 0.00-10.00 sec 30.5 GBytes 26.2 Gbits/sec 0 sender'
echo "行内容: $LINE"
echo " [错误写法] awk '{print \$8}' → [$(echo "$LINE" | awk '{print $8}')] ← 这是重传列,不是带宽"
echo " [正确写法] 锚定单位列取前一列 → [$(echo "$LINE" | awk '{for(i=1;i<=NF;i++) if($i=="Gbits/sec"){print $(i-1); exit}}')]"
echo ""
echo " 真正致命的是:重传列不一定存在(不同版本/不同参数)"
LINE2='[SUM] 0.00-10.00 sec 30.5 GBytes 26.2 Gbits/sec sender'
echo " 行内容: $LINE2"
echo " awk '{print \$8}' → [$(echo "$LINE2" | awk '{print $8}')] ← 列号直接变成 sender"
echo " 锚定单位列 → [$(echo "$LINE2" | awk '{for(i=1;i<=NF;i++) if($i=="Gbits/sec"){print $(i-1); exit}}')]"
echo ""
echo "=================== 3. grep -o 同行多匹配会带换行 ==================="
S='[result] case=dm test Succ ; case=filter test Fail'
echo "行内容: $S"
echo " [错误写法] grep -o 'case=[a-z]*' 输出:"
grep -o 'case=[a-z]*' <<<"$S" | sed 's/^/ /'
echo " [正确写法] 加 head -1 → [$(grep -o 'case=[a-z]*' <<<"$S" | head -1)]"
echo " [正确写法] 用摘要时必须 tr 掉换行 → [$(grep -oE 'case=[a-z]+ test (Succ|Fail)' <<<"$S" | head -1 | tr '\n\t' ' ')]"
echo ""
echo "=================== 4. printf 里的 % 被当格式符 ==================="
echo " [错误写法] printf '进度...(21%)...完成'"
printf '进度...(21%)...完成\n' 2>&1 | sed 's/^/ /'
echo " [正确写法] printf '%s\\n' '进度...(21%)...完成'"
printf '%s\n' '进度...(21%)...完成' | sed 's/^/ /'
echo ""
echo "=================== 5. grep -c 数的是行数,不是次数 ==================="
echo "同一行里出现两次 Succ:"
echo " grep -c 结果 = $(printf '[result] a Succ b Succ\n' | grep -c 'Succ')"
echo " grep -o | wc -l 结果 = $(printf '[result] a Succ b Succ\n' | grep -o 'Succ' | wc -l)"
echo ""
echo "=================== 6. 大写 FAIL 被小写匹配漏掉 ==================="
U='[RESULT] case=pcie status=FAIL'
echo "行内容: $U"
echo " [错误写法] grep -q 'fail' → $(grep -q 'fail' <<<"$U" && echo 命中 || echo 漏判)"
echo " [正确写法] grep -qi 'fail' → $(grep -qi 'fail' <<<"$U" && echo 命中 || echo 漏判)"
echo " [正确写法] grep -qE 'status=(FAIL|Fail|fail)' → $(grep -qE 'status=(FAIL|Fail|fail)' <<<"$U" && echo 命中 || echo 漏判)"
跑法:
bash
chmod +x demo.sh
./demo.sh
第三节验证"解析器到底对不对"用的两份样本(t_fail.log / t_succ.log),完整内容就在本文第八节里,照抄成两个文件即可。
再强调一遍:只跑 t_succ.log 的解析器等于没测 ,必须跑 t_fail.log 证明它该挂的时候真的会挂。