论文阅读:三星-TinyClick

《Single-Turn Agent for Empowering GUI Automation》

赋能GUI自动化的单轮代理

摘要

我们介绍了一个用于图形用户界面(GUI)交互任务的单轮代理,使用了视觉语言模型Florence-2-Base。该代理的主要任务是识别与用户指令相对应的UI元素的屏幕坐标。

它在Screenspot和OmniAct上表现出强大的性能,同时保持了0.27B参数的紧凑规模和最低的延迟。

相关的改进来自于多任务训练和基于MLLM的数据增强。手动注释的语料库很少,但我们表明,MLLM增强可能产生更好的结果。

在Screenspot和OmniAct平台上,我们的模型超过了专门针对GUI的模型(如SeeClick)和大模型(如GPT-4V)。

模型:hugging-face.co/Samsung/TinyClick.

下游任务的示例命令。TinyClick 接收屏幕截图和用户指令,然后预测 UI 元素的边界框和动作。

训练情况

模型开源: hugging-face.co/Samsung/TinyClick

Florence2:一个定位和检测模型、通过同时使用带注释的图像和自然语言解释,允许适应跨领域。

训练方式

多任务训练

任务类别和目的

我们使用了公开可用的语料库来训练单轮对话智能体,这些语料库主要包含命令和位置(边界框)。

为了准备训练数据,我们使用了现有的MLLM注解或软件元数据,并且也使用我们自己的MLLM管道对数据进行了重新注解。

元素的描述、期望、位置和用途主要基于MLLM注解,而对象检测则使用了Android XML UI元数据。

实验验证了我们的方法的有效性,用更小、更快的模型超越了当前的基线。

任务名称

1.Element captioning

根据屏幕上的位置生成UI元素的描述、目的或操作预期。

2.Element location

根据视觉描述定位UI元素

3.Object detection

检测所有可点击的UI元素

4.Agent action

根据用户指令(command)定位要点击的UI元素或要点击的位置。

5.QA

根据屏幕内容QA

训练数据集

1.WaveUI

2.AMEX

3.Mind2Web

4.GUI Odyssey(not in train)

5.GUI Course

6.AndroidControl

7.ScreenQA

8.WebUI(not use)

9.OmniAct(validation set)

MLLM注解模型标注的方式

InternVL2-26B 标注数据 GUI Course的例子:

你的任务是生成一个预期 expectation ------与红色方框中的UI元素交互后会发生什么。

也就是说

输入是 image、prompt、 包含command和action的input json

输出是 output json


训练任务示例

同一个UI元素 可以 有多个不同的任务,类似 grounding和widget caption的意思

相关推荐
有Li9 小时前
探索医学领域多模态人工智能的发展图景:技术挑战与临床应用的范围综述|文献速递-医学影像算法文献分享
论文阅读·人工智能·医学生
元让_vincent1 天前
论文Review LIO Multi-session Voxel-SLAM | 港大MARS出品!体素+平面特征的激光SLAM!经典必读!
论文阅读·平面·自动驾驶·激光点云·激光slam
星夜Zn2 天前
生成式人工智能展望报告-欧盟-04-社会影响与挑战
论文阅读·人工智能·大语言模型·发展报告·ai社会影响
s1ckrain2 天前
【论文阅读】Editing Large Language Models: Problems, Methods, and Opportunities
论文阅读·人工智能·语言模型·大模型可解释性
勤奋的小笼包2 天前
论文阅读笔记:《Dataset Condensation with Distribution Matching》
论文阅读·人工智能·笔记
一枚射手座的程序媛3 天前
论文笔记:Bundle Recommendation and Generation with Graph Neural Networks
论文阅读
一枚射手座的程序媛3 天前
【论文笔记】Multi-Behavior Graph Neural Networks for Recommender System
论文阅读
张较瘦_3 天前
[论文阅读] 人工智能 + 软件工程 | Trae Agent:让AI智能体高效解决仓库级软件问题,登顶SWE-bench排行榜
论文阅读·人工智能·软件工程
ZHANG8023ZHEN3 天前
ModeSeq论文阅读
论文阅读
张较瘦_3 天前
[论文阅读] 人工智能 + 软件工程 | GitHub Marketplace中CI Actions的功能冗余与演化规律研究
论文阅读·人工智能·软件工程