8.5K+ Star!Skyvern:一个基于LLMs和计算机视觉自动化浏览器工作流的工具

Skyvern 简介

Skyvern[1] 一个使用大型语言模型(LLMs)和计算机视觉自动化浏览器工作流程的工具。 它通过API端点提供服务,能够在无需定制代码的情况下自动化多个网站上的手动工作流程。

Skyvern利用计算机视觉和LLMs实时解析视口(viewport)中的项目,规划交互并执行操作。

它具有适应网站布局变化、在未知网站上操作的能力,并能利用LLMs处理复杂交互情况。

项目特点

主要特点
  1. 无需定制代码:Skyvern 能够映射视觉元素到完成工作流所需的动作,无需任何定制代码。

  2. 抵抗网站布局变化:由于没有预定义的XPath或其他选择器,Skyvern 不会受到网站布局变化的影响。

  3. 跨网站工作流应用:Skyvern 能够将单一工作流应用于大量网站,因为它能够理解完成工作流所需的交互。

  4. 复杂情况处理:Skyvern 利用 LLMs 推理交互,以确保能够覆盖复杂情况。

使用场景

Skyvern 可以应用于多种场景,包括但不限于:

  • 保险报价获取:从 Geico 等保险公司获取汽车保险报价。

  • 竞争对手分析:理解不同网站上的产品是否相同,即使尺寸略有不同。

  • 发票下载:自动化从多个不同网站上下载发票的过程。

  • 工作申请:自动化工作申请流程。

  • 材料采购:为制造公司自动化材料采购流程。

项目使用

API端点

Skyvern 提供了一个简单的 API 端点来完全自动化网站上的手动工作流。用户可以通过创建任务(Tasks)和工作流(Workflows)来指导 Skyvern 完成特定的目标。

任务是 Skyvern 中的基本构建块,每个任务都是对 Skyvern 的单个请求,指示它导航到网站并完成特定目标。工作流则是将多个任务链接在一起形成工作单元的方式。

快速开始
Docker Compose 设置(推荐)
  1. 确保你的机器上安装并运行了 Docker Desktop[2]。

  2. 确保本地没有运行 postgres(运行 docker ps 检查)。

  3. 克隆仓库并导航到根目录。

  4. 在 docker-compose.yml[3] 中填写 LLM 提供者密钥。如果你想在远程服务器上运行 Skyvern,请确保在 docker-compose.yml中为 UI 容器设置了正确的服务器 IP。

  5. 通过命令行运行以下命令:

    docker compose up -d

  6. 在浏览器中导航到 http://localhost:8080 开始使用 UI。

完整设置
  1. 确保你安装了以下软件:
  • Brew[4](如果你使用的是 Mac)

  • Poetry[5]

  • node[6]

  • Docker[7]

  1. 克隆仓库并导航到根目录。

  2. 打开 Docker Desktop(适用于 Windows、macOS 和 Linux)或运行 Docker Daemon。

  3. 运行设置脚本安装必要的依赖项并设置你的环境:

    ./setup.sh

  4. 启动服务器:

    ./run_skyvern.sh

  5. 你可以通过 UI 开始发送请求到服务器。要启动 UI,请运行以下命令:

    ./run_ui.sh

  6. 在浏览器中导航到 http://localhost:8080 开始使用 UI。

项目资源

  • 文档网站[8]

  • 电子邮件[9]

  • Discord[10]


注:本文内容仅供参考,具体项目特性请参照官方 GitHub 页面的最新说明。

欢迎关注&点赞&在看,感谢你的阅读~


资源列表

[1]

Github地址: https://github.com/Skyvern-AI/skyvern

[2]

Docker Desktop: https://www.docker.com/products/docker-desktop/

[3]

docker-compose.yml: https://github.com/Skyvern-AI/skyvern/blob/main/docker-compose.yml

[4]

Brew安装: https://brew.sh/

[5]

Poetry安装: https://python-poetry.org/docs/#installation

[6]

Node安装: https://nodejs.org/en/download/

[7]

Docker安装: https://docs.docker.com/engine/install/

[8]

文档网站: https://docs.skyvern.ai

[9]

电子邮件: mailto:founders@skyvern.com

[10]

Discord: https://discord.gg/fG2XXEuQX3

相关推荐
Topstip8 分钟前
在 Google Chrome 上查找并安装 SearchGPT 扩展
前端·人工智能·chrome·gpt·ai·chatgpt
python_知世27 分钟前
AI时代:成为产品经理的核心路径
人工智能·深度学习·程序人生·自然语言处理·产品经理·计算机技术·大模型应用
这个男人是小帅28 分钟前
【GCN】 代码详解 (1) 如何运行【pytorch】可运行版本
人工智能·pytorch·python·深度学习·分类
cv-daily29 分钟前
优化模型训练过程中的显存使用率、GPU使用率
人工智能
Jason-河山37 分钟前
人工智能技术:未来生活的“魔法师”
人工智能·生活
电子手信1 小时前
教育机构如何利用知识中台进行数字教学
大数据·人工智能·自然语言处理·自动化
深度学习实战训练营1 小时前
HyperGAT模型复现微博文本情绪多分类
人工智能·分类·数据挖掘
阿_旭1 小时前
实战| 使用深度学习分割和计算水体和农田面积【Pytorch附源码】
人工智能·pytorch·深度学习·ai·目标分割
bw8767206872 小时前
人工智能--JupyterNoteBook 转换成 PDF
人工智能·机器学习·pdf
说私域2 小时前
以客户为导向在开源 AI 智能名片 2 + 1 链动模式 S2B2C 商城小程序内容创作中的实践与价值
人工智能·小程序·开源