慎重使用正则表达式

上一讲,我在讲String对象优化时,提到了Split()方法,该方法使用的正则表达式可能引起回溯问题,今天我们就来深入了解下,这究竟是怎么回事?

按照之前评估的访问量,这次活动预计参与用户量30W+,TPS(每秒事务处理量)最高3000左右。

我使用ab工具(通过yum -y install httpd-tools可以快速安装)在另一台机器上对http请求接口进行测试。

我可以通过设置-n请求数/-c并发用户数来模拟线上的峰值请求,再通过TPS、RT(每秒响应时间)以及每秒请求时间分布情况这三个指标来衡量接口的性能

什么是正则表达式?

构造正则表达式语法的元字符,由普通字符、标准字符、限定字符(量词)、定位字符(边界字符)组成。详情可见下图:

正则表达式引擎

正则表达式是一个用正则符号写出的公式,程序对这个公式进行语法分析,建立一个语法分析树,再根据这个分析树结合正则表达式的引擎生成执行程序(这个执行程序我们把它称作状态机,也叫状态自动机),用于字符匹配。

  1. DFA自动机(Deterministic Final Automaton 确定有限状态自动机)

  2. NFA自动机(Non deterministic Finite Automaton 非确定有限状态自动机)。

对比来看,构造DFA自动机的代价远大于NFA自动机,但DFA自动机的执行效率高于NFA自动机。

假设一个字符串的长度是n,如果用DFA自动机作为正则表达式引擎,则匹配的时间复杂度为O(n);如果用NFA自动机作为正则表达式引擎,由于NFA自动机在匹配过程中存在大量的分支和回溯,假设NFA的状态数为s,则该匹配算法的时间复杂度为O(ns)。

NFA自动机的回溯

用NFA自动机实现的比较复杂的正则表达式,在匹配过程中经常会引起回溯问题。大量的回溯会长时间地占用CPU,从而带来系统性能开销。

如何减少回溯问题?

NFA自动机的贪婪特性就是导火索,这和正则表达式的匹配模式息息相关,一起来了解一下。

1.贪婪模式(Greedy)

顾名思义,就是在数量匹配中,如果单独使用+、 ? 、* 或{min,max} 等量词,正则表达式会匹配尽可能多的内容。

2.懒惰模式(Reluctant)

在该模式下,正则表达式会尽可能少地重复匹配字符。如果匹配成功,它会继续匹配剩余的字符串。

3.独占模式(Possessive)

同贪婪模式一样,独占模式一样会最大限度地匹配更多内容;不同的是,在独占模式下,匹配失败就会结束匹配,不会发生回溯问题。

还是上边的例子,在字符后面加一个"+",就可以开启独占模式。

讲到这里,你应该非常清楚了,在很多情况下使用懒惰模式和独占模式可以减少回溯的发生。

我使用了split()方法提取域名,并检查请求参数是否符合规定。split()在匹配分组时遇到特殊字符产生了大量回溯,我当时是在正则表达式后加了一个需要匹配的字符和"+",解决了这个问题。

正则表达式的优化

1.少用贪婪模式,多用独占模式

贪婪模式会引起回溯问题,我们可以使用独占模式来避免回溯。

2.减少分支选择

分支选择类型"(X|Y|Z)"的正则表达式会降低性能,我们在开发的时候要尽量减少使用。如果一定要用,我们可以通过以下几种方式来优化:

首先,我们需要考虑选择的顺序,将比较常用的选择项放在前面,使它们可以较快地被匹配;

其次,我们可以尝试提取共用模式,例如,将"(abcd|abef)"替换为"ab(cd|ef)",后者匹配速度较快,因为NFA自动机会尝试匹配ab,如果没有找到,就不会再尝试任何选项;

最后,如果是简单的分支选择类型,我们可以用三次index代替"(X|Y|Z)",如果测试的话,你就会发现三次index的效率要比"(X|Y|Z)"高出一些。

3.减少捕获嵌套

捕获组是指把正则表达式中,子表达式匹配的内容保存到以数字编号或显式命名的数组中,方便后面引用。一般一个()就是一个捕获组,捕获组可以进行嵌套。

非捕获组则是指参与匹配却不进行分组编号的捕获组,其表达式一般由(?:exp)组成。

复制代码

public static void main(String[] args) { String text = "<input high=\"20\" weight=\"70\">test</input>"; String reg = "(?:<input.*?>)(.*?)(?:</input>)"; Pattern p = Pattern.compile(reg); Matcher m = p.matcher(text); while (m.find()) { System.out.println(m.group(0)); //整个匹配到的内容 System.out.println(m.group(1)); //(.*?) } }

如果你并不需要获取某一个分组内的文本,那么就使用非捕获分组。例如,使用"(?:X)"代替"(X)",我们再看下面的例子:

复制代码

public static void main(String[] args) { String text = "<input high=\"20\" weight=\"70\">test</input>"; String reg = "(?:<input.*?>)(.*?)(?:</input>)"; Pattern p = Pattern.compile(reg); Matcher m = p.matcher(text); while (m.find()) { System.out.println(m.group(0)); //整个匹配到的内容 System.out.println(m.group(1)); //(.*?) } }

综上可知:减少不需要获取的分组,可以提高正则表达式的性能。

相关推荐
guslegend5 小时前
Stream如何提高遍历集合效率?
性能调优
张永清2 天前
每周读书与学习->Jmeter中如何使用Bean Shell脚本(二)Bean Shell的基础语法之变量与数据类型
性能测试·性能调优·jmeter性能测试·性能分析·每周读书与学习·bean shell
张永清9 天前
每周读书与学习->Jmeter中如何使用Bean Shell脚本(一)Bean Shell的简介与安装
性能测试·性能调优·jmeter性能测试·性能分析·性能诊断·每周读书与学习
冗量22 天前
《性能之巅》第七章:内存 读书笔记
服务器·性能优化·性能调优
冗量22 天前
《性能之巅》第八章:文件系统(File Systems)读书笔记
操作系统·性能调优
dawdo2221 个月前
自己动手从头开始编写LLM推理引擎(12)-xLLM的整体调优
llm·transformer·性能调优·推理引擎·xllm·模型执行器
张永清-老清1 个月前
每周读书与学习->JMeter性能测试脚本编写实战(四)-利用JMeter对MySQL数据库查询进行性能测试
学习·jmeter·性能调优·jmeter性能测试·性能分析·每周读书与学习
张永清1 个月前
每周读书与学习->JMeter性能测试脚本编写实战(四)-利用JMeter对MySQL数据库查询进行性能测试
性能测试·性能调优·jmeter性能测试·性能分析·性能诊断
软件派1 个月前
Apache Paimon终极教程——流批一体存储引擎深度解析(附Flink集成案例+性能调优代码)
apache·性能调优·流批一体·实时数据处理·paimon教程·flink集成·湖仓架构