如何利用RPA做UI自动化测试对传统自动化的降维打击

写在前面

RPA软件一开始的目的并不是自动化测试,而是要把电脑上面几十个、上百个常用的软件,通过机器人流程自动化来打通,通过一个软件来控制几十个、上百个软件。而这个过程,其实覆盖了软件自动化测试。

所谓降维打击,其实是RPA软件,跨界做了软件自动化测试。

引言

做UI自动化的繁琐和难点,对于每一个测试开发工程师都有切身的体会:

第一:验证码

比如,登录界面,为了防止批量注册、登录、灌水等恶意行为,设置了验证码,这些验证码通常包含随机生成的数字、字母或符号,并可能加入干扰元素如曲线、噪点或干扰线,以增加识别难度, 还有一些很创新的验证码:

  1. 滑块拼图验证码

  2. 滑动条验证码

  3. 旋转图片验证码

  4. 点选验证码

  5. 推理拼图验证码

验证码往往是卡在自动化测试的第一关。原本用来防止坏人的工具,对于自动化测试来说,却成为了棘手的问题。虽然可以设置跳过验证码,但这种方式牺牲了测试的覆盖面为代价,绕过验证码也可能会导致安全漏洞,因此应该尽可能采用安全的方式来验证用户身份。

第二,无法处理各种WindowsApp/Java应用等UI自动化:类似于Selenium等主流的UI自动化测试工具,主要用于web页面的自动化测试,对于各类Win App的UI自动化则不太适用, 假如开发的功能不仅仅是Web端,UI自动化测试就会停留在从开始到放弃。

第三,维护性差:当UI发生改变时,UI自动化测试用例就会大量失效,需要测试人员花费大量的时间去修改UI自动化测试的代码。

第四,学习成本高:UI自动化测试需要掌握相关的自动化测试框架和编程语言,同时还需要对测试目标进行深入的了解和分析,因此需要花费大量的时间和精力进行学习和实践。

第一部分 降维打击

用实在RPA做做全场景UI自动化测试,实在地说,下面4条属于降维打击。

  1. 兼容各种WindowsApp/Java应用等被测对象的UI自动化: 适用场景广泛。这里的兼容,不仅是原生的元素拾取,还有基于CV的元素拾取,大大增加了拾取的能力。单这一条,就已经碾压了大量的开源UI测试框架。

  2. 充分的验证码组件:对于验证码拦路虎,直接拖拽响应的验证码组件即可实现验证码的验证。

  3. 学习成本低: RPA产品是UI界面操作,目标定位就是小白易上手,元素拾取、元素操作等难的地方由RPA产品进行处理,用户关注元素的拾取、断言。对于测试工程师来说,入门RPA进行自动化测试,更加不是问题。

  4. 维护性好:RPA产品通过创建流程来运行UI自动化的过程,对于被测试对象的变化引起测试脚本运行出错,可以清晰排查出改动的元素,重新拾取即可更新元素。

第二部分 示例

一、各种不同验证码的例子示范

1\滑块拼图验证码

示例: jQuery触屏滑块图片验证码插件

使用RPA滑动拼图验证码

2\滑动条验证码

使用RPA滑动条验证码

3\旋转图片验证码

使用rpa旋转验证码

4\点选验证码

使用RPA点选验证码

5\推理拼图验证码

使用RPA点击推理拼图验证码

二、兼容各种WindowsApp/Java应用等UI自动化示例

2.1 WeChat的消息发送的UI自动化测试演示

2.1 WeChat的消息发送的UI自动化测试演示

2.2 兼容Excel、Word、WPS

Excel 相关的组件有59个, Word相关组件有27个,可以覆盖绝大多数Excel和word操作,赋能对Excel和Word的自动化操作。

2.3 兼容各类浏览器

实在RPA设计器兼容 谷歌浏览器、IE浏览器、火狐浏览器、章鱼浏览器(beta)、Edge浏览器、360安全浏览器、360极速浏览器、搜狗浏览器等各种浏览器。

在自动化测试方面,以电商平台为例,电商平台会开发很多后台的web应用,通过浏览器,由RPA可以实现大量电商的业务需求,如消息发送、私域运营、数据获取、评价回复、评价获取、项目运营、插旗备注、物流信息获取, 实在RPA同样也适用于这些电商系统的自动化测试。

2.4 兼容金蝶、用友等各类财务软件

主流的如用友,金蝶,用友的NC,U8+, 金蝶Kis, 金蝶EAS

2.5 兼容阿里旺旺、飞书、钉钉、微信、企业微信

对阿里旺旺、飞书、钉钉、微信、企业微信界面的各种按钮、界面元素可是实现精准操作,包括元素点击、鼠标移到元素上、输入文本、输入密码框、获取界面元素文本、等待元素、判断元素存在、元素截图、循环相似元素等等,元素操作的组件有34个,从各种复杂场景的流程包的运行看,可以很好满足各种业务的需求。

2.6 支持信创等国产操作系统

在国产操作系统上面开发应用的小伙伴们有福了,可以使用实在RPA 信创版进行UI自动化测试.

第三部分 总结

上面的示例中,是常用软件较少的一部分,但也已经涵盖了 Windows App 、Java App、浏览器、信创操作系统。

RPA软件一开始的目的并不是自动化测试,而是要把电脑上面几十个、上百个常用的软件,通过机器人流程自动化来打通。而这个过程,其实覆盖了软件自动化测试。

所谓降维打击,其实是RPA软件,跨界做了软件自动化。

用操作软件的软件------即RPA软件 ------做自动化测试,叠加强大的CV拾取功能,更加充分兼容了各种WindowsApp&Java应用等被测对象,有充分的验证码组件,学习成本低, 维护性好, 完全属于降维打击, 使用后会发现真香。

示例中的AI智能-验证码组件的流程包见↓附件:

安利一波:

如需上手尝试,可通过下载链接下载实在RPA设计器 : 下载实在RPA设计器

相关推荐
imc.1114 分钟前
linux基础IO
linux·运维·服务器
躺不平的理查德15 分钟前
让Ubuntu 的第二块网卡 ens37 永久固定为 192.168.30.111
运维·服务器
bitbrowser1 小时前
Facebook 验证反复回到原页面,应该从哪里排查
运维·服务器·facebook
Land03291 小时前
AI网页元素变化无法自动修复?自带元素自愈的自动化解决方案
运维·人工智能·ai·自动化·rpa
fengyehongWorld1 小时前
Jenkins 安装与简单配置
运维·jenkins
云智慧AIOps社区1 小时前
2026 国产化 ITSM 替代指南:横向测评 ServiceNow、轻帆云、Jira等五款主流IT服务管理平台
运维·人工智能·运维开发·it服务管理·itsm平台
Urbano2 小时前
针织卫衣全流程生产工序科普:自动化替代、产能优化与设备选型实战方案
运维·自动化
ai_coder_ai2 小时前
在自动化脚本中如何实现播音?
人工智能·自动化·语音识别
AC赳赳老秦2 小时前
招投标公开数据自动化采集实战:基于 OpenClaw 的定时抓取与业务关键词精准推送
运维·服务器·数据库·自动化·测试用例·deepseek·openclaw
小的博客2 小时前
windows下安装Docker Desptop
运维·docker·容器