微调fine-tuning

Ankie Wan1 年前
人工智能·深度学习·语言模型·gpt-3·transformer·微调fine-tuning·少样本few-shot
人工智能论文GPT-3（2）：2020.5 Language Models are Few-Shot Learners；微调；少样本Few-Shot (FS)我们的基本预训练方法，包括模型、数据和训练，与GPT-2中描述的过程相似，只是模型规模、数据集规模和多样性，以及训练时长有所扩大，相对简单直接。