【自然语言处理】大模型时代的数据标注(主动学习)

文章目录

      • [A 论文出处](#A 论文出处)
      • [B 背景](#B 背景)
        • [B.1 背景介绍](#B.1 背景介绍)
        • [B.2 问题提出](#B.2 问题提出)
        • [B.3 创新点](#B.3 创新点)
      • [C 模型结构](#C 模型结构)
      • [D 实验设计](#D 实验设计)
      • [E 个人总结](#E 个人总结)

A 论文出处

  • 论文题目:FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models
  • 发表情况:2023-EMNLP
  • 作者单位:浙江大学、网易

B 背景

B.1 背景介绍

传统的主动学习,降低了第一步的标注成本,通过迭代标注小部分数据,然后通过模型的Uncertainty(或Feature-based Diversity)进行校验,筛选剩余有价值的样本进行再标注。但仍存在两个问题,首先是少量标注其实很难训练很好的模型,影响后续筛选的步骤,其次传统AL还是需要大量的人力成本,目前的AL论文大部分都需要标注10%~50%以上的数据才能达到较好的性能。

B.2 问题提出

(1)大模型:可以用Zero/few-shot ICL解决下游任务,人力标注几乎为0,但光靠大模型部署成本较高,效果不总是尽如人意;

(2)小模型:直接用小模型需要收集很多标注数据,人力成本更高。但可以使用半监督、主动学习缓解一下标注成本,但总是需要一定的人力成本。

B.3 创新点

(1)在没有任何人为监督的情况下,提高大模型的泛化能力;

(2)大模型+小模型的协同学习方法FreeAL,大模型用来主动标注,小模型用来过滤和反馈。

C 模型结构

(1)LLM通过自生成的虚拟样本对未标注的数据进行打标,形成初始的标注数据集;

(2)SLM对于LLM的标注结果进行筛选过滤,得到clean set用于LLM进行ICL;

  1. 训练预热(Warm-up Training)
    SLM使用LLM生成的初始伪标签进行少量周期的标准训练(如交叉熵损失),目的是让模型初步学习数据中的简单模式,避免过早陷入噪声样本的过拟合。
  2. 损失计算与排序(Loss Calculation and Ranking)
    对每个训练样本计算交叉熵损失值 l i l_i li,并按类别对损失值进行升序排序。损失值较低的样本表明SLM对其预测置信度较高,可能对应LLM生成的更准确的伪标签。
  3. 类别内筛选(Class-wise Selection)
    对每个类别 j j j 的样本集合 D t r a i n j \mathcal{D}{train}^j Dtrainj,选择损失值最小的前 R % R\% R%(如论文中设 R = 20 R=20 R=20 )的样本,构成初步的干净子集 D c l e a n j \mathcal{D}{clean}^j Dcleanj,确保每个类别都有一定比例的"高置信度"样本被保留。
  4. 聚类去冗余(Clustering for Diversity)
    使用k-medoids算法 对 D c l e a n j \mathcal{D}{clean}^j Dcleanj 中样本的嵌入表示(如SLM的隐藏层输出)进行聚类,选择每个簇的中心样本(medoids)作为最终演示池 D d e m o j \mathcal{D}{{demo}}^j Ddemoj 。这保证了演示样本的多样性和代表性,避免冗余。
  5. 合并与反馈(Aggregation and Feedback)
    将所有类别的演示池合并为 D d e m o = ∪ D d e m o j \mathcal{D}{{demo}}=\cup\mathcal{D}{{demo}}^j Ddemo=∪Ddemoj ,并反馈给LLM用于后续的标签优化。未被选中的样本则交由 D n o i s y \mathcal{D}_{{noisy}} Dnoisy LLM通过上下文学习重新标注。

D 实验设计

(1)多次迭代性能提升

(2)相较于ICL的性能提升

E 个人总结

(1)数据标注依然重要,完全监督、弱监督的小模型在很多场景下比(未精调)大模型强;

(2)利用LLM进行标注是完全可行的,小模型可以协同进行过滤、精炼大模型的标签;

(3) 该方法的核心在于用LLM完全替代人类进行样本选择,但LLM固有的不确定性、偏见和"幻觉"问题可能导致其选择的样本质量不稳定,甚至引入错误或次优的标注,反而损害最终模型性能;

(4)论文中展示的有效性可能高度依赖于特定的数据集、任务或使用的LLM,其提出的"完全无人"流程在更复杂、动态或领域外(OOD)的真实世界场景中的鲁棒性和泛化能力尚未得到充分验证。

相关推荐
dylan55_you几秒前
掌控AI工具链:用 Python + API 构建 AI MCP 服务器
人工智能·ai·mcp
悟乙己7 分钟前
译|生存分析Survival Analysis案例入门讲解(一)
人工智能·机器学习·数据挖掘·生存分析·因果推荐
无奈何杨10 分钟前
从“指点江山”到“赛博求雨”的心路历程
人工智能
老贾专利烩19 分钟前
智能健康项链专利拆解:ECG 与 TBI 双模态监测的硬件架构与信号融合
人工智能·科技·健康医疗
无奈何杨21 分钟前
MCP Server工具参数设计与AI约束指南
人工智能
青梅主码22 分钟前
中国在世界人工智能大会上发布《人工智能全球治理行动计划》:中美 AI 竞争白热化,贸易紧张局势下的全球治理新篇章
人工智能
都叫我大帅哥26 分钟前
决策树:从零开始的机器学习“算命大师”修炼手册
python·机器学习
loopdeloop34 分钟前
机器学习、深度学习与数据挖掘:核心技术差异、应用场景与工程实践指南
深度学习·机器学习·数据挖掘
loopdeloop35 分钟前
机器学习、深度学习与数据挖掘:三大技术领域的深度解析
深度学习·机器学习·数据挖掘
张较瘦_1 小时前
[论文阅读] 人工智能 + 软件工程 | CASCADE:用LLM+编译器技术破解JavaScript混淆难题
javascript·论文阅读·人工智能