1.1.1 AI->GB T 42755-2023数据集标注标准:GB T 42755-2023《人工智能 面向机器学习的数据标注规程》

GB/T 42755-2023《人工智能 面向机器学习的数据标注规程》 是我国首个数据标注领域的国家标准,于 2023 年 5 月 23 日发布,2023 年 12 月 1 日正式实施。该标准为 AI 数据标注提供了全流程规范,核心是保障标注质量、安全与一致性,适用于文本、图像、音频、视频、点云等多类型数据标注

标准核心框架(三大阶段)

标准将数据标注划分为前期准备、任务执行、结果输出三大核心阶段,覆盖从需求到交付的完整闭环

前期准备阶段

  1. 标注任务定义

    • 需形成书面标注任务说明,明确标注目标、对象、类别、属性、方法、正反示例、验收规则
    • 数据需先预处理:清洗、去重、脱敏、格式统一
  2. 标注人员要求

    • 分级:普通标注员、专业标注员、领域专家
    • 必须经培训 + 考核合格上岗,定期复训
  3. 标注环境要求

    • 安全:双因素认证、操作录屏审计、数据存储与标注域逻辑隔离
    • 工具:支持多模态数据、任务分配、进度跟踪、质量检查、版本控制、标准格式导出

任务执行阶段

  1. 过程控制

    • 分工明确:数据需求方、标注管理方、标注方三方权责清晰
    • 流程可追溯:全环节日志记录,防止篡改
    • 流式质检:抽检率≥20% ,高危 / 敏感样本100% 复核
  2. 质量保证(核心指标)

    • 一致性 :多标注者 Kappa 系数≥0.85 ;图像标注 IOU≥0.90
    • 准确性 :分类标注准确率≥95% ;关键点定位误差≤3 像素
    • 数据均衡 :少数类样本≥5% ,特征覆盖熵值≥0.7
    • 完整性:必填标注项无遗漏,元数据完整
  3. 管理机制

    • 建立冲突解决、异常上报、进度监控、成本控制机制

结果输出阶段

  1. 内部质检

    • 二级 / 三级质检:初检→复检→抽检,不合格数据返工
    • 出具质量报告:准确率、一致性、覆盖率、问题统计
  2. 数据交付

    • 按约定格式(JSON/XML/CSV 等)交付
    • 数据说明书:来源、标注方法、质量评估、版本、版权说明
  3. 后期维护

    • 版本管理:记录修改历史,支持回溯
    • 反馈优化:根据模型应用效果迭代标注规则

二、不同数据类型的专项要求

  • 文本标注

    • 分类:标签体系清晰、互斥无歧义
    • 实体 / 情感:边界准确、情感极性一致,一致性≥90%
  • 图像标注

    • 分类:单图多标签准确,漏标率<1%
    • 检测 / 分割:边界框 IOU≥0.9 ;实例分割 Mask IoU≥0.85
    • 关键点:定位误差≤3 像素
  • 视频标注

    • 关键帧 / 逐帧标注,目标 ID 追踪稳定,切换率≤5%
  • 点云标注

    • 3D 框 IOU≥0.8(16 线激光雷达)
  • 音频标注

    • 转写准确率≥98%,说话人分离、时间戳精确

安全与合规(安全护城河)

  • 敏感数据保护

    • PII(个人可识别信息)自动脱敏 ,召回率≥99%
    • 严禁未脱敏标注人脸、指纹等生物特征
  • 内容安全

    • 政治有害 / 色情 / 暴力 / 歧视内容拦截率 99.97% ,漏标率<0.05%
  • 版权合规

    • 确保原始数据授权合法,标注成果权属清晰

标准意义与价值

  1. 统一规范:解决标注行业 "无标可依"、质量参差不齐问题
  2. 质量提升 :量化指标确保数据集高一致、高准确、高均衡
  3. 安全可控:强化数据安全、隐私保护与内容合规
  4. 产业协同:便于供需双方对接、降低沟通成本、支撑 AI 产业健康发展
相关推荐
小和尚同志10 小时前
小黑插图 Skill:从 11.7k star 的 Codex 专属,到 Claude Code 能用的平替
人工智能·aigc
高洁0110 小时前
孪生不止在工厂:能源、医疗与农业
人工智能·深度学习·transformer·知识图谱·tornado
外域速览11 小时前
智谱50亿美元押注AI自训练
大数据·人工智能
人工智能培训11 小时前
孪生不止在工厂:能源、医疗与农业
大数据·人工智能
米小虾11 小时前
让模型说"我不知道",比让它答对更难:放弃文本生成能换来什么
人工智能
新新学长搞科研11 小时前
【SPIE出版】2026年人工智能、新材料与新能源国际学术会议(AINMNE 2026)
人工智能·新能源·新材料
野生技术架构师11 小时前
2026 Java 面试全套总结,八股 + 场景 + AI 相关面试考点
java·人工智能·面试
米小虾12 小时前
不写出来的思考:把 Transformer 的层循环起来,是第三条 scaling 轴还是省错了地方?
人工智能
A.说学逗唱的Coke12 小时前
【大模型专题】别再用 HTTP 直连 Agent 了:用 Kafka 承载 A2A 协议,从 PoC 走到生产
人工智能·kafka·a2a
资讯综合12 小时前
2026企业AI平台选型指南:多维视角下的主流方案解析
人工智能