GUI Agent数据集收集

1、MMBench-GUI:跨平台GUI代理的分层评估框架,modelscope

我们很高兴发布MMBench-GUI,这是一个分层、多平台的基准框架和工具箱,用于评估GUI代理。MMBench-GUI包括四个评估级别:GUI内容理解、GUI元素定位、GUI任务自动化和GUI任务协作。我们还提出了集成准确性和效率的效率-质量区域(EQA)指标。MMBench-GUI为评估和指导未来GUI代理能力的发展提供了严格的标准。

数据大小:1.05G

2、 GUIAct/GUIAct-test,modelscope

45G,12.8号提交

3、huggingface

(1)TongUI

https://huggingface.co/datasets/Bofeee5675/GUI-Net-1M

有中文,手机相关操作数据。训练集80万条,570G,需要过滤出需要的数据

GUI-Net-1M is the dataset we keep running the pipeline introduced from TongUI paper. Due to large file size, we have to split image files into parts. To do the extraction of images, please use the following script:

也有基于这个数据训练好的模型:

(2)smolagents/android-control

12.2k 数据量

(3)anamhira/aitw_foundation

39.5K

(4)aitw数据集下载地址

https://modelscope.cn/datasets/russwest/AitW/files

(5)https://huggingface.co/datasets/Yuxiang007/AMEX

相关推荐
跨境卫士-小汪15 小时前
选品更稳的新打法:用“用户决策阻力”挑品——阻力越大,越有机会做出溢价
大数据·人工智能·产品运营·跨境电商·内容营销·跨境
空中楼阁,梦幻泡影15 小时前
主流4 大模型(GPT、LLaMA、DeepSeek、QWE)的训练与推理算力估算实例详细数据
人工智能·gpt·llama
Dev7z15 小时前
基于改进YOLOv5n与OpenVINO加速的课堂手机检测系统设计与实现
人工智能·yolo·openvino·手机检测·课堂手机检测
Elastic 中国社区官方博客15 小时前
Elastic 9.3:与数据对话、构建自定义 AI agents、实现全自动化
大数据·人工智能·elasticsearch·搜索引擎·ai·自动化·全文检索
启友玩AI15 小时前
方言守护者:基于启英泰伦CI-F162GS02J芯片的“能听懂乡音”的智能夜灯DIY全攻略
c语言·人工智能·嵌入式硬件·ai·语音识别·pcb工艺
档案宝档案管理15 小时前
企业档案管理系统:从“资料存放”到“数据资产”的升级
大数据·人工智能·档案·档案管理
wasp52015 小时前
Banana Slides 深度解析:AI Core 架构设计与 Prompt 工程实践
人工智能·prompt·bash
跨境卫士情报站16 小时前
用“渠道矩阵+内容节奏”把流量做成可控资产
大数据·人工智能·矩阵·产品运营·跨境电商·亚马逊
XX風16 小时前
4.1 spectral clusterig
人工智能·机器学习·支持向量机
连线Insight16 小时前
从“模型竞赛”到“数据为王”:WPS 365如何帮企业挖掘数据金矿?
人工智能·wps