ECLAIR:利用基础模型实现企业自动化

人工智能咨询培训老师叶梓 转载标明出处

尽管流程自动化的概念已经存在了几十年,但实现端到端工作流程自动化的最终愿景仍然难以捉摸。斯坦福大学的研究人员提出了一种新的解决方案------ECLAIR系统,旨在通过最少的人工监督实现企业工作流程的自动化。

ECLAIR利用多模态基础模型(FM)通过视频演示学习专业知识,根据书面文档导航GUI,并审计完成的工作流程,而传统RPA依赖于硬编码的规则和手动审计。在医院案例中,研究者发现实施RPA面临的主要挑战包括高设置成本、脆弱的执行和繁重的维护。图1 展示了RPA在医院RCM中的实施情况,包括高设置成本、执行不可靠和维护困难。这些挑战导致医院在18个月内投入大量资源,但最终未能实现预期的自动化效果。

在B2B企业案例中,研究者同样发现了高设置成本、执行不可靠和维护困难的问题。图2 描述了B2B企业在发票处理中遇到的挑战,包括长时间的开发周期和高昂的成本,以及RPA机器人在处理复杂合同和发票时的低准确率和高维护需求。

ECLAIR系统的核心在于利用多模态基础模型(FMs),如GPT-4,这些模型具有广义的推理和规划能力。ECLAIR通过以下三个阶段来实现工作流程的自动化:

  1. 演示(Demonstrate) ECLAIR通过观察人类演示来学习工作流程,实验显示GPT-4能够以93%的准确率识别工作流程的步骤。Table 1显示,提供工作流程描述、关键时刻的屏幕截图和动作日志(WD+KF+ACT)时,GPT-4生成的标准操作程序(SOP)能够正确完成93%的工作流程。
  2. 执行(Execute) ECLAIR必须执行一系列步骤来完成工作流程,分为动作建议和动作定位两个阶段。实验发现,通过SOP提供领域知识可以显著提高工作流程完成率。Table 2显示,使用SOP指导时,GPT-4在下一步动作建议的准确度提高到0.92,但整体工作流程完成率仅为0.40,表明模型在将建议动作与适当的GUI元素关联起来时存在困难。
  3. 验证(Validate) ECLAIR需要提供多个级别的验证,包括单个步骤级别和整个工作流程级别。GPT-4在评估动作是否成功执行时表现出高精确度和召回率,但在确定哪些动作在给定GUI状态下可行时表现不佳。此外,GPT-4能够自我监控工作流程的高级属性,但仍有改进空间。Table 4显示了GPT-4在自我验证任务中的性能,包括动作执行、完整性约束、工作流程完成和工作流程轨迹的评估结果。

尽管ECLAIR在自动化企业工作流程方面展现出潜力,但仍面临一些挑战,如人机协作、验证和自我改进。研究人员提出了利用数据管理技术来解决这些问题的方法。此外,ECLAIR的成功部署需要满足一定的性能标准,这可能因工作流程的不同而有所差异。

想要掌握如何将大模型的力量发挥到极致吗?叶老师带您深入了解 Llama Factory ------ 一款革命性的大模型微调工具(限时免费)。

1小时实战课程,您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型,以发挥其最大潜力。

CSDN教学平台录播地址:https://edu.csdn.net/course/detail/39987

论文链接:https://arxiv.org/abs/2405.03710

项目链接:https://github.com/HazyResearch/eclair-agents

相关推荐
阳区欠16 分钟前
【Linux】进程通信
linux·运维·服务器·共享内存·进程通信·system v·管道文件
Naomi52125 分钟前
Trustworthy Machine Learning
人工智能·机器学习
may_一一32 分钟前
终端SSH连接工具SecureCRT安装和连接Linux
运维·服务器·ssh
刘 怼怼38 分钟前
使用 Vue 重构 RAGFlow 实现聊天功能
前端·vue.js·人工智能·重构
程序员安仔39 分钟前
每天学新 AI 工具好累?我终于发现了“一键全能且免费不限量”的国产终极解决方案
人工智能
闭月之泪舞39 分钟前
OpenCv(五)——边缘检测
人工智能·计算机视觉
星霜旅人40 分钟前
K-均值聚类
人工智能·机器学习
lilye661 小时前
程序化广告行业(39/89):广告投放的数据分析与优化秘籍
大数据·人工智能·数据分析
欧雷殿1 小时前
再谈愚蠢的「八股文」面试
前端·人工智能·面试
rockmelodies1 小时前
OpenSCAP 是一个基于开源的安全合规性自动化框架
安全·开源·自动化