kaggle新赛:谷歌AI模型运行时间预测赛题解析【数据挖掘】

**赛题名称:**Google - Fast or Slow? Predict AI Model Runtime

**赛题链接:**https://www.kaggle.com/competitions/predict-ai-model-runtime

赛题背景

Alice 是一名 AI 模型开发人员,但她的团队开发的一些模型运行速度非常慢。她最近发现了编译器的配置,这些配置改变了编译器编译和优化模型的方式,从而使模型运行得更快(或更慢)。参赛者的任务是帮助 Alice 找到每个模型的最佳配置。

赛题方向

数据挖掘

赛题任务

根据训练数据集中提供给参赛者的运行时数据训练机器学习模型,并进一步预测测试数据集中图形和配置的运行时。

数据描述

我们的数据集称为TpuGraphs,这是在XLA HLO图上运行在张量处理单元(TPUs) v3上的性能预测数据集。

总共有5个数据集集合:layout:xla:randomlayout:xla:defaultlayout:nlp:randomlayout:nlp:defaulttile:xla

最终得分将是所有数据集的平均值。要下载整个数据集并查看更多信息,参赛者可以导航到数据选项卡。

基准模型

我们在https://github.com/google-research-datasets/tpu_graphs上提供了基准模型和训练设置。请参阅我们的数据集论文(https://arxiv.org/abs/2308.13490),了解基准模型的详细信息。

评价指标

根据实际需求,我们使用两种评估指标,并对其取平均。

具体来说,对于数据集"tile:xla",我们使用top-K预测产生的"(1-slowdown)"来反映模型预测的top-K配置相对于实际最快配置的速度降低情况,计算如下:

其中 K 是top-K预测,A 是数据集中给定图的所有配置,y 是测量的执行时间。

对于 layout:* 数据集,我们使用肯德尔秩相关系数(一种排名评估指标:模型预测的配置排序与运行时间排序的实际对应程度)。

提交文件

参赛者的提交文件必须是一个带有标题ID、TopConfigscsv文件。每个npz/**/test/*.npz文件(请参阅数据)在csv文件中必须有一行。

  • ID是{collection}:{test_filename_without_extension},其中collection是tile:xla、layout:xla:random、layout:xla:default、layout:nlp:random和layout:nlp:default之一。

  • TopConfigs应该根据参赛者的模型预测,按照从最快(运行时间最短)到最慢(运行时间最长)的顺序,用";"分隔列出配置的索引。

    • 对于集合tile:xla,只有前5个条目将被考虑,其余的将被忽略。

    • 对于layout:*集合,所有条目将被考虑

  • 有关样本提交文件,请从数据选项卡下载sample_submission.csv。

时间安排

  • 2023年8月29日 - 开始日期。

  • 2023年11月10日 - 报名截止日期。

  • 2023年11月17日 - 最终提交截止日期。

赛题奖金

  • 第一名 - 15,000美元

  • 第二名 - 10,000美元

  • 第三名 - 8,000美元

  • 第四名 - 7,000美元

  • 第五名 - 5,000美元

  • 第六名 - 5,000美元

关注下方【学姐带你玩AI】🚀🚀🚀

回复"比赛"获取190+场比赛top方案(kaggle、天池、ccf...)

码字不易,欢迎大家点赞评论收藏!

相关推荐
H0311169858 分钟前
关于当前主流知识库工具在分类整理学习资料场景下的选用参考
人工智能·信息可视化·音视频
辻弋20117 分钟前
手动关服务会自动重启、组策略家庭版用不了——Windows Update Blocker用“禁用+锁定”双保险,让Win10/11自动更新彻底闭嘴
服务器·人工智能·windows·电脑·开源软件
HeteroCat25 分钟前
2026.08杂记-AI 时代个体与组织如何应对变革
人工智能·aigc·创业
容器魔方33 分钟前
云容器引擎 CCE 2026-Q2 优化升级:AI 推理负载、备份中心、Gateway API能力全新上线!
人工智能·云原生·容器·开源
Aloudata33 分钟前
数据治理台账 vs 元数据知识图谱:数据资产如何从文档走向计算化
数据库·人工智能·知识图谱·数据治理·元数据·数据资产·数据血缘
tedcloud12334 分钟前
Awesome DSH Plugin 怎么用?给 DeepSeek Harness 搭建自己的插件生态
大数据·linux·服务器·人工智能·音视频
hh95035 分钟前
gent Plan × DeepSeek Harness Agent 单元测试与行为回归框架
人工智能·数据挖掘·回归·单元测试·agent plan·adg成都社区·adg社区
楷哥爱开发42 分钟前
IPFoxy爬虫代理配置指南:从0搭建Crawl4AI网页爬虫教程
大数据·运维·人工智能·爬虫
JJJennie77744 分钟前
【AI 网关】七类网关方案横向测评|MAI Gateway 会带来什么不同
人工智能·大模型·gateway·ai网关·魔芋ai
咖啡星人k1 小时前
2026 多模态大模型:AI 如何“看图+读字+听音“三合一,MonkeyCode 免费上手
人工智能·深度学习·神经网络·计算机视觉·自然语言处理