机器学习-数据标注

数据标注流程图

  1. 是否有足够的数据
  2. 要改善标注还是模型
  3. 要改善标准,标准是否足够--若足够,可使用半监督学习
  4. 若标准不足,预算是否足够--若足够,可通过众包标注
  5. 预算也不足,可使用弱监督学习

半监督学习(SSL)

基于少样本量的有标注的数据和大样本量的无标注的数据

对无标注的数据做以下假设:

  • 连续性假设:这个样本与另一个样本有相似的特征,则可能有相同的标注
  • 聚类假设:数据有内在的聚类结构,聚类相同的样本可能有相同的标注
  • 流形假设:数据是在一个低维的流形上分布,可通过降维获取更干净的数据

自训练

训练模型并预测无标注的数据,保留特别置信的标注数据加入数据集,并进行迭代

主动学习(一般与自训练配合使用)

不确信采样:

选出不确信的预测,由人工标注后加入数据集

弱监督学习

半自动生成标号

数据编程:

用一些启发式方法(制定一些规律)给数据标号

  • 关键词搜索,模式匹配,第三方模型等
相关推荐
_codemonster20 分钟前
深度学习实战(基于pytroch)系列(十五)模型构造
人工智能·深度学习
海域云赵从友42 分钟前
2025年印尼服务器选型指南:跨境业务落地的合规与性能双解
人工智能·git·github
用户5191495848451 小时前
cURL变量管理中的缓冲区越界读取漏洞分析
人工智能·aigc
iFlow_AI1 小时前
增强AI编程助手效能:使用开源Litho(deepwiki-rs)深度上下文赋能iFlow
人工智能·ai·ai编程·命令模式·iflow·iflow cli·心流ai助手
AI街潜水的八角2 小时前
深度学习杂草分割系统1:数据集说明(含下载链接)
人工智能·深度学习·分类
TG:@yunlaoda360 云老大2 小时前
谷歌云发布 Document AI Workbench 最新功能:自定义文档拆分器实现复杂文档处理自动化
运维·人工智能·自动化·googlecloud
FanXing_zl2 小时前
快速掌握线性代数:核心概念与深度解析
线性代数·算法·机器学习
苍何2 小时前
国内也有 GPT 质感的 App 了,阿里做到了。
人工智能
美团技术团队2 小时前
美团 LongCat 团队发布全模态一站式评测基准UNO-Bench
人工智能
top_designer2 小时前
Firefly 样式参考:AI 驱动的 UI 资产“无限”生成
前端·人工智能·ui·aigc·ux·设计师