chatGPT培训老师AIGC培训讲师叶梓:大模型这么火,我们在使用时应该关注些什么?-6

以下为叶老师讲义分享:

P25-P29

提示工程的模式

节省计算资源:

在微调过程中,不需要重新训练整个模型,因此可以节省计算资源。

提高特定任务上的性能:

通过微调,模型可以适应特定任务的语言特征和模式,从而提高模型的性能。

保留模型的通用性:

预训练模型具有较高的通用性能,微调可以帮助模型适应特定任务的语言特征和模式,从而提高模型的通用性。

减少数据需求:

预训练模型已经过大量训练,因此在微调过程中可以使用较少的数据。

微调大模型的意义

节省计算资源:

在微调过程中,不需要重新训练整个模型,因此可以节省计算资源。

提高特定任务上的性能:

通过微调,模型可以适应特定任务的语言特征和模式,从而提高模型的性能。

保留模型的通用性:

预训练模型具有较高的通用性能,微调可以帮助模型适应特定任务的语言特征和模式,从而提高模型的通用性。

减少数据需求:

预训练模型已经过大量训练,因此在微调过程中可以使用较少的数据。

微调大模型的方法(Adapter-Tuning)

  • 微调时冻结预训练模型的主体,由Adapter模块学习特定下游任务的知识。
  • Adapter调优的参数量大约为LM参数的3.6%。

Prefix Tuning只是在每个任务前有少量的prefix的参数,

  • 比如翻译任务,可以在每句话的前面加上"翻译:"来引导模型进行翻译功能。
  • Prefix Tuning参数规模约为LM模型整体规模的0.1%。

因为离线的Prompt对于连续的神经网络只是次优解,prompt的词之间是彼此关联的,需要将其关联起来。

于是,P-Tuning将一些伪prompt输入至LSTM中,然后利用LSTM的输出向量来替代原始的prompt token,然后一起输入至预训练语言模型中。

LSTM和随着预训练语言模型一起训练。


chatGPT讲师AIGC讲师叶梓:大模型这么火,我们在使用时应该关注些什么?未完,下一章继续......

相关推荐
仗剑_走天涯43 分钟前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
cnbestec2 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl2 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji3 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头4 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
说私域4 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
飞哥数智坊5 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor
12点一刻5 小时前
搭建自动化工作流:探寻解放双手的有效方案(2)
运维·人工智能·自动化·deepseek
未来之窗软件服务5 小时前
东方仙盟AI数据中间件使用教程:开启数据交互与自动化应用新时代——仙盟创梦IDE
运维·人工智能·自动化·仙盟创梦ide·东方仙盟·阿雪技术观
JNU freshman6 小时前
计算机视觉速成 之 概述
人工智能·计算机视觉