反爬克星还是效率神器?Browser-Use+cpolar重构Web自动化逻辑

文章目录

前言

在数据采集领域,Browser-Use正以"伪装者"姿态颠覆传统工具------其底层架构能模拟人类浏览行为,从鼠标悬停时长到键盘输入节奏都符合真实用户分布模型。这款开源工具特别擅长处理带反爬措施的动态内容,无论是电商平台的竞品价格跟踪,还是学术网站的文献批量下载,都能保持99%的稳定性,适合市场调研人员、数据分析师和科研工作者使用。

上个月帮电商客户做竞品分析时,传统爬虫3次被目标网站拦截。改用Browser-Use后,通过设置随机浏览间隔和真实浏览器指纹,连续72小时稳定获取促销数据,甚至能自动填写需要验证码的问卷表单。这种"像真人一样工作"的智能,让数据采集效率提升300%。

但本地部署的局限逐渐显现:公司服务器的自动化脚本只能在办公室访问,居家办公时需远程控制电脑才能启动任务。更麻烦的是团队协作------开发人员优化的爬虫规则,测试人员必须到现场才能验证效果,来回沟通成本吃掉了一半效率红利。

转机出现在接入cpolar之后:通过创建HTTP隧道,将本地7788端口映射为公网地址,现在无论身处何地,打开浏览器就能管理任务队列。上周在高铁上用手机修改了爬虫参数,2分钟后家里的服务器就开始执行新任务。这种"随时随地掌控自动化流程"的体验,彻底打破了物理空间的束缚。

本文主要介绍如何在本地Windows系统部署Browser-Use WebUI,并结合cpolar内网穿透工具实现远程使用Browser-Use操作浏览器智能抓取数据并通过本地AI大模型进行分析,执行任务,打造个人全自动AI助理。

1. 安装Ollama

在部署Browser-Use之前,我们首先需要先准备好Ollama和你要使用的本地大模型以及虚拟环境配置。

本例中使用的是Windows11系统专业版,通过Ollama运行本地大模型,之前曾经发布过如何在Windows安装Ollama的教程,有需要可以看看这篇文章:Windows本地部署Deepseek-R1大模型并使用Web界面远程交互

简单来说,就是访问Ollama的官网:Download Ollama on Windows

下载对应版本的Ollama安装程序并安装:

2. Gemma3模型安装与运行

本例中我打算使用的本地模型是Gemma3:27b,因为它有多模态能力,可以识别图片,稍后测试一下实际效果。

在Ollama的官网点击Models,就能找到安装命令:

shell 复制代码
ollama run gemma3:27b

PS:默认会下载模型到C盘,如果想修改下载位置,可以在终端中执行下方命令来指定模型文件的存放目录,这里以d:\ollama为例,大家可以提前自定义位置:

shell 复制代码
set OLLAMA_MODELS=d:\ollama

如果你之前安装过Ollama,在执行命令后出现如下图提示,那么关闭终端,请先升级ollama到最新版本才能正常下载gemma3模型。

模型下载完成之后,安装成功后会提示success:

3. 虚拟环境准备

3.1 安装Python

本例使用Windows11专业版系统进行演示:

首先需要安装 python 3.12 下载地址:Python Release Python 3.12.0 | Python.org

安装时需要注意,勾选下边两个选项,不然后续有可能报错:

安装结束后,如出现下图提示,点击该选项(更改您的机器配置,以允许程序(包括Python)绕过260字符的"最大路径"限制)同意即可。

确认后,点击close关闭即可完成Python环境安装。

3.2. 安装conda

这里我使用的是本地已有的conda环境,大家也可以通过UV来创建虚拟环境:

conda下载地址:Anaconda Installers and Packages

安装时需要注意的是在这一步,需要勾选第三个选项,自动加载刚才安装的Python3.12环境:

安装完成后,点击Finish即可:

4. 本地部署Brower Use WebUI

接下来开始在Windows系统使用conda本地部署Brower Use WebUI

4.1 创建一个新conda环境

首先在Windows中打开cmd,执行下方命令创建虚拟环境:

shell 复制代码
conda create -n browseruse python=3.12

输入y确认:

创建成功:

如果提示'conda' 不是内部或外部命令,也不是可运行的程序,我们需要配置一下环境变量,具体操作可以查看这篇文章:conda环境变量配置

环境创建好之后,执行下方命令激活这个新的conda环境:

shell 复制代码
conda activate browseruse

如上图所示,这个conda环境就激活成功了。

4.2 克隆存储库

接下来,执行下方命令,将Browser-use WebUI拉取到本地:

shell 复制代码
git clone https://github.com/browser-use/web-ui.git

进入Browser-use WebUI项目路径:

shell 复制代码
cd web-ui

4.3 安装依赖环境

执行下方命令安装依赖环境:

python 复制代码
pip install -r requirements.txt

现在就安装好了:

4.4 安装浏览器自动化工具

执行下方命令,安装浏览器自动化工具:

shell 复制代码
playwright install

4.5 修改配置信息

然后执行下方命令,复制一份配置示例文件并改为.env格式文件:

shell 复制代码
copy .env.example .env

复制后在webui安装的电脑路径中也能看到这两个文件:

打开配置文件后可以修改你想要使用的模型路径,API KEY,使用自己哪个已有的浏览器路径等,本地中使用ollama调用本地大模型,就暂时不用修改了,稍后在web-ui界面中配置即可:

修改完成后,保存退出即可。

5. 本地运行测试

执行下方命令:

python 复制代码
python webui.py --ip 127.0.0.1 --port 7788

访问:http://localhost:7788

即可在浏览器中打开browser-use 的 web-ui 界面了:

关闭服务后想再次启动服务,可以打开cmd,执行conda activate browseruse 激活环境,然后cd web-ui进入web-ui路径,执行 python webui.py --ip 127.0.0.1 --port 7788 启动服务即可.

在主界面,上方的设置导航中选择Agent Settings,如果你本地部署的大模型不支持视觉识别,可以把这个使用视觉取消勾选,不然后续让AI执行任务时会报错。

然后点击LLM Settings,对本地大模型进行设置:

LLM Provider在下拉中选择ollama

Model Name需要手动输入你要调用的本地大模型名称,我这里使用的是gemma3:27b

这个模型名称可以在cmd终端中输入ollama list来进行查看:

然后就可以点击顶部导航中的Run Agent来输入指令让AI自动来执行任务了:

点击执行后,底部的结果和报错框中会显示运行时间:

在cmd终端中也能看到刚才我们提的要求,与执行操作的步骤:

执行任务同时AI会打开浏览器,自动进行搜索与后续操作:

任务结束后,能看到AI成功执行了指令,帮我在B站搜索cpolar并打开搜索结果中的第一个视频:

美中不足的是使用其自带的浏览器在播放视频时,会提示浏览器不支持html5播放器,想要解决这个问题只需要在上边提到的.env配置文件中修改一下调用你自己电脑上的浏览器就可以了,而且登录视频网站后,在使用AI访问该网站时也无需二次登录了。

除了让它自动使用浏览器访问网站搜索并播放视频,我们也可以让它自动访问指定的网站查询某个账号发布的文章,并统计其账号发布的文章标题,发布时间,阅读量和点击量等信息。大家也可以根据自己的情况来提出要求让这个全自动的AI助力来为你提升工作效率,节省大量时间。

6. 安装内网穿透

现在我们已经成功在本地部署了Browser-Use WebUI并使用AI使用浏览器自动执行任务,但如果想实现不在同一网络环境下,也能随时随地在网页中远程使用本地部署的Browser-Use处理问题,那就需要借助cpolar内网穿透工具来实现公网访问了!接下来介绍一下如何安装cpolar内网穿透,过程同样非常简单:

首先进入cpolar官网:

cpolar官网地址: https://www.cpolar.com

点击免费使用注册一个账号,并下载最新版本的cpolar:

登录成功后,点击下载cpolar到本地并安装(一路默认安装即可)本教程选择下载Windows版本。

cpolar安装成功后,在浏览器上访问http://localhost:9200,使用cpolar账号登录,登录后即可看到配置界面,结下来在WebUI管理界面配置即可。

6.1 配置公网地址

接下来配置一下 Browser-Use WebUI 的公网地址:

登录后,点击左侧仪表盘的隧道管理------创建隧道,

  • 隧道名称:buse(可自定义命名,注意不要与已有的隧道名称重复)
  • 协议:选择 http
  • 本地地址:7788
  • 域名类型:选择随机域名
  • 地区:选择China Top

隧道创建成功后,点击左侧的状态------在线隧道列表,查看所生成的公网访问地址,有两种访问方式,一种是http 和https:

使用上面的任意一个公网地址,在平板或其他电脑的浏览器进行登录访问,即可成功看到 Browser-Use WebUI 界面,这样一个公网地址且可以远程访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到随时在线访问了!

同样可以使用AI在浏览器中自动执行任务:

小结

为了方便演示,我们在上边的操作过程中使用cpolar生成的HTTP公网地址隧道,其公网地址是随机生成的。这种随机地址的优势在于建立速度快,可以立即使用。然而,它的缺点是网址是随机生成,这个地址在24小时内会发生随机变化,更适合于临时使用。

如果有长期远程访问Browser-use WebUI让AI使用浏览器自动处理问题,或者异地访问与使用其他本地部署的服务的需求,但又不想每天重新配置公网地址,还想让公网地址好看又好记并体验更多功能与更快的带宽,那我推荐大家选择使用固定的二级子域名方式来为WebUI配置一个公网地址。.

6.2 配置固定公网地址

接下来演示如何为其配置固定的HTTP公网地址,该地址不会变化,方便分享给别人长期查看你部署的项目,而无需每天重复修改服务器地址。

配置固定http端口地址需要将cpolar升级到专业版套餐或以上。

登录cpolar官网,点击左侧的预留,选择保留二级子域名,设置一个二级子域名名称,点击保留:

保留成功后复制保留成功的二级子域名的名称:mybuse,大家也可以设置自己喜欢的名称。

返回Cpolar web UI管理界面,点击左侧仪表盘的隧道管理------隧道列表,找到所要配置的隧道:buse,点击右侧的编辑:

修改隧道信息,将保留成功的二级子域名配置到隧道中

  • 域名类型:选择二级子域名
  • Sub Domain:填写保留成功的二级子域名:mybuse

点击更新(注意,点击一次更新即可,不需要重复提交)

更新完成后,打开在线隧道列表,此时可以看到公网地址已经发生变化,地址名称也变成了固定的二级子域名名称的域名:

最后,我们使用上边任意一个固定的公网地址访问,可以看到访问成功,这样一个固定且永久不变的公网地址就设置好了,可以随时随地在公网环境异地在线访问本地部署的Browser-use WebUI来让AI帮你全自动处理问题了!

总结

通过以上步骤,我们实现了在Windows系统电脑本地部署Browser-use WebUI,并结合cpolar内网穿透工具轻松实现在公网环境中使用浏览器远程使用AI自主处理问题,并为其配置固定不变的二级子域名公网地址的全部流程,经过简单测试,效果确实不错,同时降低了使用门槛,非常期待它后续的发展,也感谢您的观看,有任何问题欢迎留言交流。

当模拟人类行为的智能引擎遇上穿透技术,Web自动化终于从"实验室工具"变成"生产力基础设施"。这不是简单的功能叠加,而是工作方式的范式转移。

本篇文章知识点来源cpolar官网https://www.cpolar.com

相关推荐
cpolar技术支持1 天前
第三方平台回调总说收不到?把本机 Webhook 收单页跑通,用 cpolar 固定二级子域名给对面看实时请求
node.js·内网穿透·webhook·cpolar·回调对接
Xxtaoaooo1 天前
NocoDB在线表格数据库:fnOS部署、MySQL可视化与远程协作实操
数据库·mysql·docker·cpolar·nocodb
承渊政道1 天前
CentOS 7单机部署Elasticsearch 7.17.29:从启动报错、CRUD验证到固定公网地址的完整过程
linux·elasticsearch·centos·内网穿透·cpolar·单机部署
承渊政道4 天前
自建服务越来越多怎么管理?Docker部署Flare,搭一个自己的数字入口
运维·docker·容器·内网穿透·cpolar·nas·flare
cpolar技术支持4 天前
喜欢的直播总要蹲点?用 bililive-go 在 NAS 后台自动录制直播并远程管理,再用 cpolar 让外地也能看回放
内网穿透·cpolar·nas·远程访问·自托管
cpolar技术支持8 天前
外网测试机的异常传不回内网?自托管 Sentry,用 cpolar 打通错误上报链路
python·nginx·docker·cpolar·sentry
cpolar技术支持8 天前
Spring Boot 接口本地正常,异地前端却报跨域?用 cpolar 跑通 CORS 预检与白名单
java·springboot·cpolar·前后端分离·cors
cpolar技术支持11 天前
本地数据库客户端只能自己用?用 cpolar 安全访问 NAS 上的 PostgreSQL 管理台
postgresql·内网穿透·cpolar·nas·pgadmin
拔剑纵狂歌14 天前
ClickHouse system.query_log 字段详解与排障实践
后端·clickhouse·1024程序员节
cpolar技术支持16 天前
服务器上的 Nginx 只想改配置却不敢动?把 Nginx-UI 跑起来,用 MCP 让 AI 助手帮你安全改配置,再用 cpolar 把面板短时开给自己
nginx·ai·cpolar·mcp·nginx-ui