1.1.1 AI->GB T 42755-2023数据集标注标准:GB T 42755-2023《人工智能 面向机器学习的数据标注规程》

GB/T 42755-2023《人工智能 面向机器学习的数据标注规程》 是我国首个数据标注领域的国家标准,于 2023 年 5 月 23 日发布,2023 年 12 月 1 日正式实施。该标准为 AI 数据标注提供了全流程规范,核心是保障标注质量、安全与一致性,适用于文本、图像、音频、视频、点云等多类型数据标注

标准核心框架(三大阶段)

标准将数据标注划分为前期准备、任务执行、结果输出三大核心阶段,覆盖从需求到交付的完整闭环

前期准备阶段

  1. 标注任务定义

    • 需形成书面标注任务说明,明确标注目标、对象、类别、属性、方法、正反示例、验收规则
    • 数据需先预处理:清洗、去重、脱敏、格式统一
  2. 标注人员要求

    • 分级:普通标注员、专业标注员、领域专家
    • 必须经培训 + 考核合格上岗,定期复训
  3. 标注环境要求

    • 安全:双因素认证、操作录屏审计、数据存储与标注域逻辑隔离
    • 工具:支持多模态数据、任务分配、进度跟踪、质量检查、版本控制、标准格式导出

任务执行阶段

  1. 过程控制

    • 分工明确:数据需求方、标注管理方、标注方三方权责清晰
    • 流程可追溯:全环节日志记录,防止篡改
    • 流式质检:抽检率≥20% ,高危 / 敏感样本100% 复核
  2. 质量保证(核心指标)

    • 一致性 :多标注者 Kappa 系数≥0.85 ;图像标注 IOU≥0.90
    • 准确性 :分类标注准确率≥95% ;关键点定位误差≤3 像素
    • 数据均衡 :少数类样本≥5% ,特征覆盖熵值≥0.7
    • 完整性:必填标注项无遗漏,元数据完整
  3. 管理机制

    • 建立冲突解决、异常上报、进度监控、成本控制机制

结果输出阶段

  1. 内部质检

    • 二级 / 三级质检:初检→复检→抽检,不合格数据返工
    • 出具质量报告:准确率、一致性、覆盖率、问题统计
  2. 数据交付

    • 按约定格式(JSON/XML/CSV 等)交付
    • 数据说明书:来源、标注方法、质量评估、版本、版权说明
  3. 后期维护

    • 版本管理:记录修改历史,支持回溯
    • 反馈优化:根据模型应用效果迭代标注规则

二、不同数据类型的专项要求

  • 文本标注

    • 分类:标签体系清晰、互斥无歧义
    • 实体 / 情感:边界准确、情感极性一致,一致性≥90%
  • 图像标注

    • 分类:单图多标签准确,漏标率<1%
    • 检测 / 分割:边界框 IOU≥0.9 ;实例分割 Mask IoU≥0.85
    • 关键点:定位误差≤3 像素
  • 视频标注

    • 关键帧 / 逐帧标注,目标 ID 追踪稳定,切换率≤5%
  • 点云标注

    • 3D 框 IOU≥0.8(16 线激光雷达)
  • 音频标注

    • 转写准确率≥98%,说话人分离、时间戳精确

安全与合规(安全护城河)

  • 敏感数据保护

    • PII(个人可识别信息)自动脱敏 ,召回率≥99%
    • 严禁未脱敏标注人脸、指纹等生物特征
  • 内容安全

    • 政治有害 / 色情 / 暴力 / 歧视内容拦截率 99.97% ,漏标率<0.05%
  • 版权合规

    • 确保原始数据授权合法,标注成果权属清晰

标准意义与价值

  1. 统一规范:解决标注行业 "无标可依"、质量参差不齐问题
  2. 质量提升 :量化指标确保数据集高一致、高准确、高均衡
  3. 安全可控:强化数据安全、隐私保护与内容合规
  4. 产业协同:便于供需双方对接、降低沟通成本、支撑 AI 产业健康发展
相关推荐
搜yyzk66826 分钟前
智能电话机器人:1天千通电话,高效低成本
人工智能
fthux4 小时前
装闭 RenoPit 源码解析(09):AnalysisEngine装修闭坑分析主流程
人工智能·ai·开源·github·open source·renopit
敏编程4 小时前
开源项目 NextBand:探索融合健康传感、语音交互与 AI Agent 的下一代可穿戴设备
人工智能
ovO5 小时前
我按下“发送”之后:DeepSeek Harness 如何把一次请求变成 1,177 个增量片段
人工智能·开源·deepseek
昨日之日20065 小时前
LTX-2.5:更清晰、更可控、同步音画、多镜头连贯的AI视频神器
人工智能·音视频
九硕智慧建筑一体化厂家5 小时前
数字化管控落地,直流照明构筑安全照明体系
运维·人工智能·笔记·安全·智慧城市
江厌015 小时前
本地部署DeepSeek显卡怎么选?我把显存计算公式和实测记录写下来了
人工智能·百度·联想工作站·代理商推荐·渠道对比·工作站
小席是个热心肠5 小时前
AI相关的自我学习
java·人工智能·学习
FII工业富联科技服务5 小时前
工业AI自治的演进趋势:从内容生成到Agent驱动的工厂运营范式转变
人工智能
云和数据.ChenGuang6 小时前
fastapi的参数剖析
人工智能·深度学习·机器学习·语言模型·状态模式·fastapi