chatGPT培训老师AIGC培训讲师叶梓:大模型这么火,我们在使用时应该关注些什么?-6

以下为叶老师讲义分享:

P25-P29

提示工程的模式

节省计算资源:

在微调过程中,不需要重新训练整个模型,因此可以节省计算资源。

提高特定任务上的性能:

通过微调,模型可以适应特定任务的语言特征和模式,从而提高模型的性能。

保留模型的通用性:

预训练模型具有较高的通用性能,微调可以帮助模型适应特定任务的语言特征和模式,从而提高模型的通用性。

减少数据需求:

预训练模型已经过大量训练,因此在微调过程中可以使用较少的数据。

微调大模型的意义

节省计算资源:

在微调过程中,不需要重新训练整个模型,因此可以节省计算资源。

提高特定任务上的性能:

通过微调,模型可以适应特定任务的语言特征和模式,从而提高模型的性能。

保留模型的通用性:

预训练模型具有较高的通用性能,微调可以帮助模型适应特定任务的语言特征和模式,从而提高模型的通用性。

减少数据需求:

预训练模型已经过大量训练,因此在微调过程中可以使用较少的数据。

微调大模型的方法(Adapter-Tuning)

  • 微调时冻结预训练模型的主体,由Adapter模块学习特定下游任务的知识。
  • Adapter调优的参数量大约为LM参数的3.6%。

Prefix Tuning只是在每个任务前有少量的prefix的参数,

  • 比如翻译任务,可以在每句话的前面加上"翻译:"来引导模型进行翻译功能。
  • Prefix Tuning参数规模约为LM模型整体规模的0.1%。

因为离线的Prompt对于连续的神经网络只是次优解,prompt的词之间是彼此关联的,需要将其关联起来。

于是,P-Tuning将一些伪prompt输入至LSTM中,然后利用LSTM的输出向量来替代原始的prompt token,然后一起输入至预训练语言模型中。

LSTM和随着预训练语言模型一起训练。


chatGPT讲师AIGC讲师叶梓:大模型这么火,我们在使用时应该关注些什么?未完,下一章继续......

相关推荐
高压锅_12206 分钟前
Cursor+Coze+微信小程序实战: AI春联生成器
人工智能·微信小程序·notepad++
XiaoQiong.Zhang7 分钟前
数据分析框架和方法
人工智能
TY-202516 分钟前
三、神经网络——网络优化方法
人工智能·深度学习·神经网络
Jamence24 分钟前
多模态大语言模型arxiv论文略读(156)
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
哔哩哔哩技术26 分钟前
IndexTTS2:用极致表现力颠覆听觉体验
人工智能
GengMS_DEV37 分钟前
使用开源kkfileview实现电子档案文件的万能预览/水印等功能
人工智能
纪伊路上盛名在1 小时前
(鱼书)深度学习入门1:python入门
人工智能·python·深度学习
Shuai@1 小时前
VILA-M3: Enhancing Vision-Language Models with Medical Expert Knowledge
人工智能·语言模型·自然语言处理
动亦定1 小时前
AI与物联网(IoT)的融合
人工智能·物联网