技术栈

基准评测

澳鹏Appen
6 天前
算法·benchmark·基准评测
澳鹏重磅发布ExamOCRBench:面向端到端试卷判分的多任务基准手写涂改、跨行作答、错误拼写......这些真实课堂中常见的情形,恰恰是多模态模型在试卷判分场景中面临的核心挑战。现有评测广泛覆盖文字识别、文档解析与视觉问答,但对真实小学学生作答试卷的端到端判分能力,仍缺乏充分、系统的检验。澳鹏推出ExamOCRBench,基于真实拍摄的小学多学科试卷,构建了以端到端整页判分为核心的多任务评测基准,为教育AI的能力评估提供重要框架。
白拾
3 个月前
人工智能·机器人·具身智能·vla·icml·记忆·基准评测
【ICML 2026 (Oral)】RoboMME 论文解读:首个大规模具身记忆评测基准,系统评估 VLA 长程记忆本文解读 ICML 2026(Oral)论文《RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies》。该论文提出大规模具身记忆评测基准 RoboMME,通过融合认知心理学记忆分类框架与非马尔可夫任务设计,系统性评测 VLA 模型的长程记忆能力,其特别之处在于首次同时覆盖时序、空间、对象、程序四种记忆维度,并在统一 π0.5 基座上构建 14 种记忆增强变体进行公平对比。实验表明感知记忆 + Modula
我是有底线的