Prevalence and prevention of large language model use in crowd work

本文是LLM系列文章,针对《Prevalence and prevention of large language model use in crowd work》的翻译。

众包工作中使用大型语言模型的流行率和预防

  • 摘要
  • [1 研究1:LLM使用的普遍率](#1 研究1:LLM使用的普遍率)
  • [2 研究2:LLM使用的预防](#2 研究2:LLM使用的预防)
  • [3 讨论](#3 讨论)
  • [4 材料与方法](#4 材料与方法)

摘要

我们表明,大型语言模型(LLM)的使用在众包工作者中很普遍,有针对性的缓解策略可以显著减少但不能消除LLM的使用。在文本摘要任务中,没有以任何方式指导工人使用LLM,LLM使用的估计流行率约为30%,但通过要求工人不要使用LLM和提高使用成本(例如禁用复制粘贴),LLM的使用率降低了约一半。二次分析进一步深入了解了LLM的使用及其预防:LLM的应用产生了高质量但同质的反应,这可能会损害与人类(而不是模型)行为有关的研究,并降低用众包数据训练的未来模型。同时,防止LLM的使用可能与获得高质量的响应不一致;例如,当要求员工不要使用LLM时,摘要中包含的携带基本信息的关键词较少。我们的估计可能会随着LLM的受欢迎程度或功能的增加以及其使用规范的变化而变化。然而,理解基于LLM的工具和用户的共同进化是保持众包研究有效性的关键,我们在广泛采用之前提供了一个关键的基线。

1 研究1:LLM使用的普遍率

2 研究2:LLM使用的预防

3 讨论

4 材料与方法

相关推荐
二向箔reverse4 分钟前
机器学习算法核心总结
人工智能·算法·机器学习
dundunmm26 分钟前
【论文阅读】SIMBA: single-cell embedding along with features(2)
论文阅读·人工智能·embedding·生物信息·单细胞·多组学·细胞类型识别
金井PRATHAMA1 小时前
意象框架:连接感知与认知的统一信息结构分析——基于上古汉语同源词意义系统的词源学与认知语言学探索
人工智能·自然语言处理
聚客AI1 小时前
🧠深度解析模型压缩革命:减枝、量化、知识蒸馏
人工智能·深度学习·llm
SHIPKING3931 小时前
【机器学习&深度学习】Ollama、vLLM、LMDeploy对比:选择适合你的 LLM 推理框架
人工智能·深度学习·机器学习
zzywxc7871 小时前
AI 行业应用:金融、医疗、教育、制造业领域的落地案例与技术实现
android·前端·人工智能·chrome·金融·rxjava
新智元2 小时前
刚刚,GPT-5 Pro 自证全新数学定理!OpenAI 总裁直呼颠覆,大佬们集体转发
人工智能·openai
新智元2 小时前
28 岁华人执掌 1.85 万亿科技巨头 AI 大权!一觉醒来,图灵奖得主也要向他汇报
人工智能·openai
居然JuRan2 小时前
从LoRA到QLoRA再到全量微调
人工智能
腾讯云开发者2 小时前
数字化下半场:数智融合如何驱动增长新势能?
人工智能