Browser Use — AI驱动浏览器自动化的全新范式

什么是 Browser Use?

Browser Use 是一个开源的浏览器自动化工具生态,核心项目包括 browser-harness ------ 一个轻量级、可编辑的 CDP (Chrome DevTools Protocol) 控制层,让 AI 能够直接操控你的真实 Chrome 浏览器。

它的设计理念是:"你将永远不再亲自操作浏览器"。AI 代理通过截图、坐标点击和 JS 执行来操控页面,仿佛给浏览器装上了眼睛和双手。

为什么选择 Browser Use?

1. 极简架构

核心代码只有约 1000 行,分布在 4 个文件中。没有冗余的抽象层、重试框架或复杂配置。

2. 截图优先的交互模式

传统自动化工具(Selenium/Playwright)要求你找到选择器才能点击。Browser Harness 反其道而行之:

  • 先截图 → 看像素坐标
  • 坐标点击 click_at_xy(x, y) → 穿透 iframe/阴影 DOM/跨域
  • 再截图验证 结果

3. 连接真实 Chrome

不需要启动新的浏览器实例。直接连接你正在使用的 Chrome,登录态、Cookie、扩展全部保留。

4. 原始 CDP 能力

可以直接调用任意 Chrome DevTools 协议方法,没有封装损耗。

快速上手

安装

Setup prompt

bash 复制代码
Set up https://github.com/browser-use/browser-harness for me.

Read `install.md` and follow the steps to install browser-harness and connect it to my browser.
bash 复制代码
git clone https://github.com/browser-use/browser-harness
cd browser-harness
uv tool install -e .

连接浏览器

  1. 在 Chrome 地址栏输入 chrome://inspect/#remote-debugging
  2. 勾选 "Allow remote debugging for this browser instance"
  3. 运行测试:
bash 复制代码
browser-harness <<'PY'
new_tab("https://example.com")
wait_for_load()
print(page_info())
PY

第一个脚本

python 复制代码
browser-harness <<'PY'
new_tab("https://www.baidu.com")
wait_for_load()
capture_screenshot("baidu.png")
click_at_xy(500, 300)
wait_for_load()
print(page_info())
PY

主要能力

能力 说明
页面导航 打开新标签页、切换标签页、跳转 URL
截图识别 截取页面截图,通过像素坐标点击
坐标点击 click_at_xy(x, y) 穿透 iframe/Shadow DOM
JS 执行 在页面中运行 JavaScript
HTTP 请求 http_get(url) 直接发请求,不走浏览器
原始 CDP 调用任意 Chrome DevTools 协议
云浏览器 连接 Browser Use 云端隔离浏览器

设计哲学

Browser Harness 坚持以下原则:

  • 坐标点击优先 :通过 Input.dispatchMouseEvent 在合成层级发送鼠标事件,穿透 iframe/阴影 DOM/跨域限制
  • 连接真实浏览器:不启动新实例,直接复用用户的 Chrome
  • 核心保持简洁:不添加重试框架、会话管理器、配置系统
  • 自我进化 :代理在执行中发现缺失的工具函数时,可以直接写入 agent_helpers.py

总结

Browser Use 代表了浏览器自动化的新范式------不再是"找选择器→点击",而是"截图→坐标点击→验证",更接近人类操作浏览器的方式。配合 LLM 的视觉能力,可以处理任何复杂度的 Web 任务。

这篇介绍博客也是使用了Browser Use完整流程发布的,然后我再进行编辑修改的;

安装到发布文章接近300w token消耗还是挺大的,差不多3毛钱左右

相关推荐
by2099911 小时前
学会使用std::string类,并理解其内部是如何管理字符串的详细阐述(上)
c++·笔记·字符串·类和对象·string
笑鸿的学习笔记12 小时前
C++笔记之大块顺序写
java·c++·笔记
山岚的运维笔记14 小时前
ComfyUI NVIDIA安装教程:官方便携版下载+run_nvidia_gpu.bat启动,8G显存Windows实操
运维·服务器·windows·笔记·prompt·aigc·comfyui
海宇大数据14 小时前
零信任架构实战:基于海宇活体识别V步骤1构建自动化远程公证会话初始化网关
运维·人工智能·架构·自动化
天远数科15 小时前
零信任架构实战:基于天远全能消金报告构建自动化消费分期网关
运维·人工智能·架构·自动化
知潮网16 小时前
手机号注销两年,免密扣款仍在继续
笔记
Seraphina3617 小时前
DVWA(SQL注入-low,medium,XSS反射-low)
前端·数据库·笔记·sql·网络安全·web·xss
维克兜率天19 小时前
【维克】配对交易的季节性:哪些品种适合长拿?
android·开发语言·笔记·python·算法·kotlin·量化
路弥行至19 小时前
【Head First 设计模式】第 2 章:观察者模式 —— 用现代 C++ 重新解读“交互对象的松耦合
c++·经验分享·笔记·观察者模式·设计模式·入门教程·headfirst
机核研创社21 小时前
接橡筋机做内裤腰头明橡筋:两段式工艺链的设备分工与参数窗口拆解
人工智能·自动化