cat /proc/interrupts 验证nvme 中断聚合

最近做了一次实验用cat /proc/interrupts 抓取nvme的中断次数，来验证开启了中断聚合后，中断次数是否会减少

1 首先我们先看下盘的默认值是多少

bash 复制代码

[debian~]#nvme get-feature /dev/nvme9 -f 0x7 -H  #查看支持的最大队列
get-feature:0x7 (Number of Queues), Current value:0x7f007f
        Number of IO Completion Queues Allocated (NCQA): 128
        Number of IO Submission Queues Allocated (NSQA): 128
[debian~]#nvme get-feature /dev/nvme9 -f 0x8 -H  #查看当前的聚合数 0000默认没有打开中断
get-feature:0x8 (Interrupt Coalescing), Current value:00000000
        Aggregation Time     (TIME): 0 usec
        Aggregation Threshold (THR): 1
[debian~]#

2 在没有打开中断的情况下我们可以跑下FIO 10 分钟，然后抓取30S的前后数据，看看中断增加了多少次，FIO可以用随机读，因为随机读的IOPS最高，中断次数也最高，效果明显

bash 复制代码

fio --name=job111 --filename=/dev/nvme9n1  --ioengine=libaio --direct=1 --thread=1 --numjobs=8 --iodepth=64 --rw=randread  --bs=4k --runtime=600 --time_based=1 --size=100% --norandommap=1 --randrepeat=0 --group_reporting

3 抓取一下中断

下面这个命令会把所有队列的中断次数打印出来

bash 复制代码

cat /proc/interrupts |grep nvme9 | awk '{sum=0; for(i=2;i<=NF-3;i++) sum+=$i; print sum}'  >irq_before.txt
sleep 30 
cat /proc/interrupts |grep nvme9 | awk '{sum=0; for(i=2;i<=NF-3;i++) sum+=$i; print sum}'  >irq_after.txt

4 如下图所示最终计算在30s 内所有的队列增加的中断次数是33706609

5 重复上边的步骤可以验证下不同IO场景下，设置不同的聚合数，中断增加的次数

我这里设置0x000109和0x001090来做验证

bash 复制代码

[debian~]#nvme set-feature /dev/nvme9 -f 0x8 -v 0x000109
set-feature:08 (Interrupt Coalescing), value:0x000109
[debian~]#nvme get-feature /dev/nvme9 -f 0x8 -H
get-feature:0x8 (Interrupt Coalescing), Current value:0x000109

[debian~]#nvme set-feature /dev/nvme9 -f 0x8 -v 0x001090
set-feature:08 (Interrupt Coalescing), value:0x001090
[debian~]#nvme get-feature /dev/nvme9 -f 0x8 -H
get-feature:0x8 (Interrupt Coalescing), Current value:0x001090
        Aggregation Time     (TIME): 1600 usec
        Aggregation Threshold (THR): 145

6 统计最终的结果如下：

不过有一点就是你如果想知道哪种聚合数能让nvme 在满配的情况下跑出最大的型能，真的需要我们自己取调试了，设置0x001090 的时候，我看到盘的性能有显著下降