Fine Tuning——Prompt-Learning && Delta Tuning

预训练大模型只能提供较好的初始化,面对纷繁复杂的NLP任务场景,需要进一步的微调训练。

T5
  • 110亿参数
  • 从训练"分类层"转为 训练 "encoder-decoder"
  • sequence to sequence 序列到序列的训练,输出token而不是分类
  • demonstration 例证
GPT3
  • 1750亿参数

    模型太大,单机根本无法微调

  • 没有任何参数被微调,通过prompt方式使用

  • Descriptions(Prompts) + Few-shot examples to generate tokens

    in-context leaning :大模型见过几个examples再输出

  • 优点

    更好的语言理解和语言生成效果

    更大的容积去学习新的知识

Fine tuning 的改变

以前的方法微调要改变全部模型的参数,在GPT3上是不现实的,在110b其实就很难了

每个任务对应一个100多亿的模型,100个任务就有100个模型,从存储角度来讲也不现实

高效的微调大模型 Effective Model Adaptation

从task 和 data的角度出发

prompt-learning

给模型加入一些额外的上下文 trigger出一些token

让输入数据变得更具体

从优化的角度出发

delta Tuning

用小参数去驱动大参数

相关推荐
Csvn1 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考2 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考2 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库3 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静3 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康3 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
XLYcmy4 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 上
llm·prompt·模糊测试·漏洞修复·漏洞检测·deepseek·消融实验
可乐ea4 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen4 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷5 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent