论文略读Fewer Truncations Improve Language Modeling

ICML 2024

1 背景

  • 在传统LLM训练过程中,为了提高效率,通常会将多个输入文档拼接在一起,然后将这些拼接的文档分割成固定长度的序列。
    • ------>会造成一个重大问题------文档截断(document truncation),损害了数据完整性(data integrity)
    • 此外,文档截断减少了每个序列中的上下文量,可能导致下一个词的预测与上文不相关,从而使模型更容易产生幻觉 (hallucination)。
      • (a):将变量定义与使用分割到不同的训练序列
        • ------>使得模型学习到错误的模式,并可能在下游任务中产生幻觉。
      • (b):摘要中的"Monday morning"无法与训练序列中的任何上下文匹配,导致内容失实
        • ------>显著降低模型对上下文信息的敏感度,导致生成的内容与实际情况不符,即所谓的不忠实生成 (unfaithful generation)。
      • (c):阻碍训练期间的知识获取,因为知识在文本中的表现形式通常依赖完整的句子或段落
  • ------>论文提出了最佳适配打包 (Best-fit Packing)
    • 使用长度感知的组合优化技术,有效地将文档打包到训练序列中,从而完全消除不必要的截断。
    • 不仅保持了传统方法的训练效率,而且通过减少数据的片段化,实质性地提高了模型训练的质量
相关推荐
吴佳浩3 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_097 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区8 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔9 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区9 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1239 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI9 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健9 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV10 小时前
Google 重返第一梯队
人工智能·google·aigc