大模型微调--文章3

原文地址

链接:https://zhuanlan.zhihu.com/p/635848732

思考题

问题1:p-tuning为了解决什么问题?(解决)

答案:该方法的提出主要是为了解决这样一个问题:大模型的Prompt构造方式严重影响下游任务的效果。比如:GPT-3采用人工构造的模版来做上下文学习(in context learning),但人工设计的模版的变化特别敏感,加一个词或者少一个词,或者变动位置都会造成比较大的变化。

问题2:什么是NLU任务?(解决)

答案:自然语言理解,是自然语言处理(NLP)中的一个重要子领域,涉及理解和处理人类语言的语义和语法,以便机器能够从文本中提取有意义的信息。NLU任务通常涉及对文本的深层次理解,包括解析句子结构、理解上下文、推理隐含意义。

问题3:什么是P-tuning?与prefix tuning有什么区别?(解决)

答案:prefix tuning是在每一层中插入可学习的前缀嵌入序列,而不是直接影响输入,在transformer每一层都添加前缀;

p-tuning是直接在输入层中插入可学习的提示词(软提示),优化这些提示词以提高任务性能,仅在输入层进行更改,在其他层没有操作。

问题4:P-tuning v2的原理是怎么样的?(解决)

答案:P-tuning v2不仅仅在输入层添加软提示,还可以在模型的多个中间层或特定层添加这些提示。这种多层次的提示优化使得模型能够更好地捕捉复杂的语义信息。

问题5:prompt-tunin、prefix tuning、p-tuning和p-tuning2有什么区别和联系?(解决)

答案:p-tuning可以看作是prompt-tunin的发展;p-tuning2可以看作是prefix tuning的发展

问题6:文章主要讲了什么内容?文章结构是什么样的?(解决)

答案:文章主要讲了p-tuning和p-tuning是什么,以及原理是什么,和前一篇的对比。结构上也是这样的。

动手题

1:动手实践prompt-tuning、prefix tuning、p-tuning和p-tuning v2(未解决)

相关推荐
普if加的帕21 分钟前
java Springboot使用扣子Coze实现实时音频对话智能客服
java·开发语言·人工智能·spring boot·实时音视频·智能客服
KoiC30 分钟前
Dify接入RAGFlow无返回结果
人工智能·ai应用
lilye6641 分钟前
精益数据分析(20/126):解析经典数据分析框架,助力创业增长
大数据·人工智能·数据分析
盈达科技1 小时前
盈达科技:登顶GEO优化全球制高点,以AICC定义AI时代内容智能优化新标杆
大数据·人工智能
安冬的码畜日常1 小时前
【AI 加持下的 Python 编程实战 2_10】DIY 拓展:从扫雷小游戏开发再探问题分解与 AI 代码调试能力(中)
开发语言·前端·人工智能·ai·扫雷游戏·ai辅助编程·辅助编程
古希腊掌管学习的神1 小时前
[LangGraph教程]LangGraph04——支持人机协作的聊天机器人
人工智能·语言模型·chatgpt·机器人·agent
FIT2CLOUD飞致云1 小时前
问答页面支持拖拽和复制粘贴文件,MaxKB企业级AI助手v1.10.6 LTS版本发布
人工智能·开源
起个破名想半天了1 小时前
计算机视觉cv入门之答题卡自动批阅
人工智能·opencv·计算机视觉
早睡早起吧1 小时前
目标检测篇---Fast R-CNN
人工智能·目标检测·计算机视觉·cnn
朝阳5811 小时前
Rust项目GPG签名配置指南
开发语言·后端·rust