ECLAIR:利用基础模型实现企业自动化

人工智能咨询培训老师叶梓 转载标明出处

尽管流程自动化的概念已经存在了几十年,但实现端到端工作流程自动化的最终愿景仍然难以捉摸。斯坦福大学的研究人员提出了一种新的解决方案------ECLAIR系统,旨在通过最少的人工监督实现企业工作流程的自动化。

ECLAIR利用多模态基础模型(FM)通过视频演示学习专业知识,根据书面文档导航GUI,并审计完成的工作流程,而传统RPA依赖于硬编码的规则和手动审计。在医院案例中,研究者发现实施RPA面临的主要挑战包括高设置成本、脆弱的执行和繁重的维护。图1 展示了RPA在医院RCM中的实施情况,包括高设置成本、执行不可靠和维护困难。这些挑战导致医院在18个月内投入大量资源,但最终未能实现预期的自动化效果。

在B2B企业案例中,研究者同样发现了高设置成本、执行不可靠和维护困难的问题。图2 描述了B2B企业在发票处理中遇到的挑战,包括长时间的开发周期和高昂的成本,以及RPA机器人在处理复杂合同和发票时的低准确率和高维护需求。

ECLAIR系统的核心在于利用多模态基础模型(FMs),如GPT-4,这些模型具有广义的推理和规划能力。ECLAIR通过以下三个阶段来实现工作流程的自动化:

  1. 演示(Demonstrate) ECLAIR通过观察人类演示来学习工作流程,实验显示GPT-4能够以93%的准确率识别工作流程的步骤。Table 1显示,提供工作流程描述、关键时刻的屏幕截图和动作日志(WD+KF+ACT)时,GPT-4生成的标准操作程序(SOP)能够正确完成93%的工作流程。
  2. 执行(Execute) ECLAIR必须执行一系列步骤来完成工作流程,分为动作建议和动作定位两个阶段。实验发现,通过SOP提供领域知识可以显著提高工作流程完成率。Table 2显示,使用SOP指导时,GPT-4在下一步动作建议的准确度提高到0.92,但整体工作流程完成率仅为0.40,表明模型在将建议动作与适当的GUI元素关联起来时存在困难。
  3. 验证(Validate) ECLAIR需要提供多个级别的验证,包括单个步骤级别和整个工作流程级别。GPT-4在评估动作是否成功执行时表现出高精确度和召回率,但在确定哪些动作在给定GUI状态下可行时表现不佳。此外,GPT-4能够自我监控工作流程的高级属性,但仍有改进空间。Table 4显示了GPT-4在自我验证任务中的性能,包括动作执行、完整性约束、工作流程完成和工作流程轨迹的评估结果。

尽管ECLAIR在自动化企业工作流程方面展现出潜力,但仍面临一些挑战,如人机协作、验证和自我改进。研究人员提出了利用数据管理技术来解决这些问题的方法。此外,ECLAIR的成功部署需要满足一定的性能标准,这可能因工作流程的不同而有所差异。

想要掌握如何将大模型的力量发挥到极致吗?叶老师带您深入了解 Llama Factory ------ 一款革命性的大模型微调工具(限时免费)。

1小时实战课程,您将学习到如何轻松上手并有效利用 Llama Factory 来微调您的模型,以发挥其最大潜力。

CSDN教学平台录播地址:https://edu.csdn.net/course/detail/39987

论文链接:https://arxiv.org/abs/2405.03710

项目链接:https://github.com/HazyResearch/eclair-agents

相关推荐
a里啊里啊7 分钟前
AI提示词收集(持续更新)
ai·大模型·prompt·开发·提示词
程序员Linc12 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
xcLeigh20 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
果冻人工智能23 分钟前
如何有效应对 RAG 中的复杂查询?
人工智能
ghostwritten23 分钟前
Docker Registry Clean
运维·docker·容器
2305_7978820932 分钟前
AI识图小程序的功能框架设计
人工智能·微信小程序·小程序
果冻人工智能33 分钟前
向量搜索中常见的8个错误(以及如何避免它们)
人工智能
碳基学AI39 分钟前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
niuniu_66640 分钟前
简单的自动化场景(以 Chrome 浏览器 为例)
运维·chrome·python·selenium·测试工具·自动化·安全性测试
补三补四42 分钟前
机器学习-聚类分析算法
人工智能·深度学习·算法·机器学习