【skyvern 部署】自动化

【skyvern 部署】自动化

在数字化时代,数据已成为企业决策和创新的核心资源。然而,从互联网上获取这些数据并非易事,尤其是当涉及到复杂网站和动态内容时。传统的爬虫工具往往难以应对网站的反爬机制和复杂的交互逻辑。幸运的是,随着人工智能技术的发展,Skyvern应运而生,它是一款革命性的浏览器自动化工具,能够轻松实现爬虫、自动化和浏览器自动化任务。本文将带你快速上手Skyvern,让你的一句话指令就能让AI帮你完成复杂的自动化任务。

skyvern介绍

Skyvern 是一款利用大语言模型(LLM)和计算机视觉技术来自动化浏览器工作流程的工具。它通过提供一个简单的API端点,能够替代那些脆弱或不可靠的自动化解决方案,从而高效地自动化大量网站上的手动操作。

主要特点

  • 无需预定义代码:Skyvern能够在从未见过的网站上操作,自动将视觉元素映射到完成工作流程所需的动作,无需任何定制代码。
  • 抗布局变化能力:由于Skyvern不依赖预定义的XPath或其他选择器,因此网站布局变化不会影响其操作。
  • 大规模工作流程应用:Skyvern能够将一个工作流程应用到大量网站,具有灵活的推理能力。
  • 复杂情境处理能力:通过LLM,Skyvern能够理解并处理复杂的交互情形。

部署(重点介绍源码部署)

源码部署

1、安装 Python 3.11,如有python 3.11版本(官方指定3.11版本)可跳过

我使用的pyenv来管理环境,也可使用其他方法安装python

# macos中pyenv安装命令,其余系统自行查找

brew install pyenv  

配置环境变量

# 配置环境变量
export PATH="$HOME/.pyenv/bin:$PATH"
eval "$(pyenv init --path)"
eval "$(pyenv init -)"
eval "$(pyenv virtualenv-init -)"

pyenv install 3.11.9  
pyenv global 3.11.9

2、安装poetry

Poetry 是 Python 中用于依赖项管理和打包的一个工具。

其他安装方式参考官方文档:https://python-poetry.org/docs

# macos中poetry安装命令,其余系统自行查找
brew install poetry

# 如果使用的pyenv可以指定poetry使用当前pyenv的py版本
poetry env use $(pyenv which python)

3、安装PostgreSQL 14

# macos中安装命令,其余系统自行查找
brew install postgresql

4、安装node

使用的nvm来管理node环境,也可使用其他方法安装node

# macos中安装命令,其余系统自行查找
brew install nvm  

# 安装最新node,并设置为系统默认
nvm install node
nvm alias default node

5、克隆源码

git clone https://github.com/Skyvern-AI/skyvern.git

6、依赖安装

cd skyvern  # 项目根目录执行下面的命令 
./setup.sh

7、修改配置

  • 后端配置

    根据你使用的LLM修改.env文件即可(将需要使用的模型供应商ENABLE_改为true,填写相应的密钥 _API_KEY,修改使用的模型LLM_KEY)

    项目使用的是litellm用于发起请求,若有其他的支持视觉的LLM可以自己参考litellm,然后修改项目源码新增。

    我主要新增openai的 api_base这个参数,若有和我一样将openai接口国内做的转发可以参考以下步骤。

  • 修改skyvern/config.py

    • 在Settings类中新增类变量OPENAI_API_BASE

      OPENAI_API_BASE: str | None = None
      
  • 运行 修改skyvern/forge/sdk/api/llm/config_registry.py

    • 在你需要修改的模型中新增litellm_params参数(我使用的gpt4o,其余模型修改方法类似)

      LLMConfigRegistry.register_config(
          "OPENAI_GPT4O", LLMConfig(
              "gpt-4o",
              ["OPENAI_API_KEY", "OPENAI_API_BASE"],  # 检查 .env中参数是否填写
              supports_vision=True,
              add_assistant_prefix=False,
              litellm_params=LiteLLMParams(
                  api_base=SettingsManager.get_settings().OPENAI_API_BASE,
                  api_key=None,
                  api_version=None,
              ),
          )
      )
      
  • 修改.env

  • 前端配置

主要查看skyvern-frontend/.env中VITE_SKYVERN_API_KEY是否为空,若为空运行以下代码得到token填写即可。(若代码运行出现 403 则运行以下代码得到token修改即可)

poetry shell  # 进入poetry管理的项目环境
poetry run python scripts/create_organization.py Skyvern-Open-Source
docker快速部署

确保您已安装并运行Docker Desktop。

克隆库并导航到根目录。

填写Docker Compose文件中的LLM密钥。

运行命令启动Skyvern:

docker compose up -d

在浏览器中访问http://localhost:8080开始使用。

运行(基于源码)

后端

shell脚本运行

./run_skyvern.sh

或者直接运行/调试 代码 skyvern/forge/main.py

前端

./run_ui.sh  

Skyvern 通过结合大语言模型(LLM)和计算机视觉技术,提供了一种高效、灵活的浏览器自动化工具。其无需预定义代码,抗布局变化能力强,能够在大量网站上应用工作流程并处理复杂情境。Skyvern不仅简化了自动化流程的实现,还通过详细记录和呈现每一步骤的执行情况,为用户提供了透明和可控的自动化解决方案。不论是源码部署还是使用Docker快速部署,用户都能便捷地将Skyvern集成至自己的项目中,并且通过完善的接口和配置选项,轻松定制和扩展其功能。

注意:目前大模型使用的是OpenAI的接口,其中执行一条任务都需要OpenAI大量的token,太费钱了,相信不久将来可以快速指令式自动化办公了

相关推荐
运维老司机23 分钟前
Jenkins修改LOGO
运维·自动化·jenkins
D-海漠39 分钟前
基础自动化系统的特点
运维·自动化
我言秋日胜春朝★1 小时前
【Linux】进程地址空间
linux·运维·服务器
C-cat.1 小时前
Linux|环境变量
linux·运维·服务器
yunfanleo1 小时前
docker run m3e 配置网络,自动重启,GPU等 配置渠道要点
linux·运维·docker
烦躁的大鼻嘎2 小时前
【Linux】深入理解GCC/G++编译流程及库文件管理
linux·运维·服务器
乐大师2 小时前
Deepin登录后提示“解锁登陆密钥环里的密码不匹配”
运维·服务器
ac.char2 小时前
在 Ubuntu 上安装 Yarn 环境
linux·运维·服务器·ubuntu
敲上瘾2 小时前
操作系统的理解
linux·运维·服务器·c++·大模型·操作系统·aigc
传而习乎3 小时前
Linux:CentOS 7 解压 7zip 压缩的文件
linux·运维·centos