GPT-4V-Act :一个多模态AI助手,能够像人类一样模拟通过鼠标和键盘进行网页浏览。

内容来源:@xiaohuggg

GPT-4V-Act :一个多模态AI助手,能够像人类一样模拟通过鼠标和键盘进行网页浏览。

它可以模拟人类浏览网页时的行为,如点击链接、填写表单、滚动页面等。

它通过视觉理解技术识别网页上的元素,就像人眼一样,能够"看到"按钮、文本框、图片等,并理解它们的功能和用途。

这个工具的目的是让AI能够自动完成一些需要人工操作的任务,从而提高工作效率,帮助人们更容易地使用各种网页界面。

工作原理:

GPT-4V-Act利用GPT-4V语言理解能力和视觉处理能力以及一套特定的自动标记工具(Set-of-Mark)的视觉定位能力,该工具为每个可交互的UI元素分配一个唯一的数字ID。

通过结合任务和截图作为输入,GPT-4V-Act可以推断出完成任务所需的后续动作。它能够检查UI截图并提供精确的像素坐标,以指导鼠标/键盘执行特定任务。

目前,这个演示还很基础,它利用网页抓取技术将ChatGPT Plus变形为一个非官方的GPT-4V API后端。尽管目前的测试有限,但该代理已经显示出了在Reddit上发布帖子、搜索产品和启动结账过程的能力。

主要特点:

1、视觉处理:能够处理视觉信息,但支持程度有限。

2、自动标记:使用JS DOM自动标记器为UI元素分配数字ID,支持COCO数据格式的导出。

3、鼠标和键盘操作:能够执行点击和输入字符操作。

4、特殊键码输入:目前还不支持输入特殊键码(如回车、页面上移、页面下移)。

5、其他功能:滚动、提示用户提供更多信息、记住与任务相关的信息等功能也尚未支持。

GitHub:httpshttps://github.com/ddupont808/GPT-4V-Act

视觉定位:https://https://som-gpt4v.github.io/

原帖:httpshttps://www.reddit.com/r/MachineLearning/comments/17cy0j7/d_p_web_browsing_uibased_ai_agent_gpt4vact/?rdt=50049ent_gpt4vact/

相关推荐
cetcht88883 分钟前
从隐患频发走向精准防控:配电室电力安全监控系统
网络·人工智能
铭记北宸5 分钟前
AI赋能Automa二次开发
人工智能
滴答滴答嗒嗒滴7 分钟前
TensorZero:开源 LLM 应用优化与可观测性平台
人工智能·ai·开源·llm·大语言模型·tensorzero
说私域11 分钟前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的新零售融合路径研究
人工智能·小程序·开源·零售
机器学习算法与Python实战13 分钟前
一个超强的推理增强大模型,开源了,本地部署
人工智能
飞哥数智坊23 分钟前
设计师的天又塌了!即梦3.0智能参考实测:换背景、改风格、保人像、玩文字样样炸裂(含案例+提示词)
人工智能
jndingxin26 分钟前
OpenCV CUDA模块中用于稠密光流计算的 TV-L1(Dual TV-L1)算法类cv::cuda::OpticalFlowDual_TVL1
人工智能·opencv·算法
只微26 分钟前
多分类性能评估方法
人工智能·机器学习·分类·数据挖掘
geneculture36 分钟前
路径=算法=操作:复杂系统行为的统一数学框架
人工智能·算法·数学建模·课程设计·智慧系统·融智学的重要应用·复杂系统
AcrelGHP39 分钟前
建筑末端配电回路安全用电解决方案:筑牢电气防火最后一道防线
人工智能·算法·安全