web agent 学习 3:screen ai

学习论文:ScreenAI: A Vision-Language Model for UI and Infographics Understanding

摘要部分介绍了作者的screenai,是一个专门用于UI和信息图形理解的视觉语言模型。模型利用pix2struct灵活的补丁策略改进了PaLI架构,并在独特的数据集混合上进行了训练。

他的主要任务是屏幕注释(识别UI的类别,位置),用这些注释交给大语言模型,并自动生成问答(QA)、UI导航和摘要训练数据集。最后还做了消融实验。

主要贡献如下:

我们提出ScreenAI,一种视觉语言模型(VLM),作为一种整体解决方案,专注于理解UI和信息图形,利用其常见的视觉语言和设计复杂性。

•我们介绍了UI的文本表示,用于教我们的模型如何在预训练阶段理解UI。

•我们利用这种新的UI表示和大型语言模型(LLM)自动大规模生成训练数据。

•我们定义了预训练和微调混合物,涵盖了UI和信息图理解中的广泛任务。

•我们为第4.2节中描述的任务发布了三个评估数据集:Screen Annotation、ScreenQA Short和Complex ScreenQA。这些数据集使研究界能够利用我们的文本表示和al low对基于屏幕的问答模型进行更全面的基准测试。

模型结构如图:

可以看到,这里的图像和文字是一起embed,一起自注意力的,因为他们都是输入。记住decoder那边永远只会有字典,不会有正儿八经的输入数据走那边的。

接下里是重量级:数据集怎么做的。

首先作者收集了大量的截图,然后给他们做注释。注释就是给图像上的各个元素加上框框,同时解释一下是什么东西。这个其实就是一个分类任务,有现成的模型可以用。

接下来,在大语言模型的帮助下,可以生成更高级的任务,例如QA......

最后得到的数据集:

最后我们使用这个数据集训练模型,训练项目其实也就是注释,QA,Navigation(就是叫他'返回',他会知道要按哪个按钮),总结。

这样,在注释模型,常规多模态大语言模型的帮助下,我们做出了一个注重UI交互的数据集,并在此基础上训练出了一个重视理解UI能力的多模态大语言模型。

最后就是实验和收集数据。学习结束。

相关推荐
软件黑马王子40 分钟前
C#系统学习第八章——字符串
开发语言·学习·c#
strongwyy3 小时前
蓝牙墨水屏上位机学习(2)
学习
九皇叔叔3 小时前
(3)手摸手-学习 Vue3 之 变量声明【ref 和 reactive】区别
学习
The_cute_cat5 小时前
Ajax和Axios的初步学习
前端·学习·ajax
amazinging6 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十三天
python·学习
祁思妙想6 小时前
八股学习(五)---MySQL
学习
虾球xz6 小时前
CppCon 2018 学习:THE MOST VALUABLE VALUES
开发语言·c++·学习
丰锋ff7 小时前
计网学习笔记第2章 物理层(灰灰题库)
笔记·学习
Chef_Chen8 小时前
从0开始学习R语言--Day39--Spearman 秩相关
开发语言·学习·r语言
天水幼麟14 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习