机器学习-数据标注

数据标注流程图

  1. 是否有足够的数据
  2. 要改善标注还是模型
  3. 要改善标准,标准是否足够--若足够,可使用半监督学习
  4. 若标准不足,预算是否足够--若足够,可通过众包标注
  5. 预算也不足,可使用弱监督学习

半监督学习(SSL)

基于少样本量的有标注的数据和大样本量的无标注的数据

对无标注的数据做以下假设:

  • 连续性假设:这个样本与另一个样本有相似的特征,则可能有相同的标注
  • 聚类假设:数据有内在的聚类结构,聚类相同的样本可能有相同的标注
  • 流形假设:数据是在一个低维的流形上分布,可通过降维获取更干净的数据

自训练

训练模型并预测无标注的数据,保留特别置信的标注数据加入数据集,并进行迭代

主动学习(一般与自训练配合使用)

不确信采样:

选出不确信的预测,由人工标注后加入数据集

弱监督学习

半自动生成标号

数据编程:

用一些启发式方法(制定一些规律)给数据标号

  • 关键词搜索,模式匹配,第三方模型等
相关推荐
Ivanqhz9 分钟前
数据搬运是性能关键
java·服务器·网络·人工智能·深度学习
糖糖单片机设计11 分钟前
基于STM32的电子密码锁设计与实现(矩阵键盘+防拆检测+GSM远程报警)
人工智能·stm32·单片机·嵌入式硬件
johnsong20 分钟前
AI前沿日报 2026-09-19
人工智能·语言模型
程序员Better27 分钟前
我终于遇到一台懂 AI 编程的专业编程显示器!
人工智能·openai·编译器
sky_81061329 分钟前
AI Agent 2026编程类客户端调研报告
人工智能·ai
cyl122407131 分钟前
2026年10月嵌入式培训指南:在“AI+嵌入式“爆发前夜,如何选择你的职业跳板?
人工智能·嵌入式硬件
zhikouai33 分钟前
大模型越强,企业 AI 成本越高?3 个治理判断
人工智能
阳明山水39 分钟前
校准分位数驱动智能库存决策
人工智能·深度学习·算法·机器学习·架构
zhangfeng11331 小时前
ATK(华为算子测试平台)详细介绍 CANN(Compute Architecture for Neural Networks,神经网络计算架构
人工智能·华为·ai编程·npu·cann