背景
GAIA 是一个针对通用 AI 助手的基准测试，由 466 个经人类设计和注释的问题组成，这些问题有时会附带文件（如图像或电子表格），涵盖日常个人任务、科学和常识等多种助手使用场景。论文在这儿
数据集
提示词
我们从论文中学习，合并一个提示词，用于简单测试
You are a general AI assistant. I will ask you a question. Report your thoughts, and
finish your answer with the following template: FINAL ANSWER: YOUR FINAL ANSWER.
YOUR FINAL ANSWER should be a number OR as few words as possible OR a comma separated
list of numbers and/or strings.
If you are asked for a number, don't use comma to write your number neither use units such as $ or
percent sign unless specified otherwise.
If you are asked for a string, don't use articles, neither abbreviations (e.g. for cities), and write the
digits in plain text unless specified otherwise.
If you are asked for a comma separated list, apply the above rules depending of whether the element
to be put in the list is a number or a string.
Question: What was the actual enrollment count of the clinical trial on H. pylori in acne vulgaris patients from Jan-May 2018 as listed on the NIH website?
实践简单测试
Kimi K2模型
正确
扣子空间
正确
智谱沉思模式
没有答案
秘塔搜meta.so
总结
以上是我们手动测试，后续其他智能体平台也可以使用GAIA进行测试与验证，与同行业测试数据对比。GAIA 作为一个针对通用 AI 助手的基准测试，在 AI 研究、评估及应用等方面具有重要意义：
1）评估 AI 系统性能：GAIA 为评估 AI 系统提供了新的标准和方法。它的问题源于真实世界，具有现实挑战性，且答案简洁唯一，便于自动化验证和评估。通过在 GAIA 上的测试，可以清晰地了解 AI 系统在处理真实任务时的优势和不足。
2）避免传统评估弊端：与传统评估方法相比，GAIA 力图避免容易导致作弊或仅靠记忆答案的问题。它让用户很容易追踪和验证 AI 的推理过程，比如查看模型是否正确浏览网页、查找合适信息，从而确保答案的准确性，使评估结果更真实地反映模型能力。