机器学习笔记:李宏毅ChatGPT:生成式学习的两种策略

1 策略1 "各个击破"------autoregressive model

"各个击破"------一个一个生成出来

2 策略2 : "一次到位"------non-autoregressve model

一步到位,全部生成出来

2.1 non-autoregressive model 如何确定长度?

  • 两种策略
    • 策略1:始终生成固定长度(比如100),如果出现end,那么end后面的部分直接扔掉
    • 策略2:首先输出一个数字n,表示之后我们要输出多长,然后输出n长度的句子

3 二者的对比

3.1 生成速度

  • 一般文字相关的任务考虑"各个击破",而影像相关的任务考虑"一次到位"
    • 因为影像每一帧都有很多的像素,如果"各个击破",那么效率太慢了

3.2 生成品质

  • "各个击破"的话是先根据概率生成"老",然后将"老"放入输入,生成下一个字的概率分布,再sample,这样得到"老师"的概率会很大
  • "一次到位"的话同时生成所有字的概率,同时sample,得到有问题的词组的概率会很大

4 二者的结合

4.1 语音合成

4.2 类diffusion model的思路

  • 好多次"一次到位"联合使用
    • 每经过一次"一次到位",图像就会更清楚一点
    • ------>图像会越来越清楚

视频来源:李宏毅讲解生成式AI(大模型,文本,图像)_哔哩哔哩_bilibili

相关推荐
江屿风2 小时前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
fly_sunnn5 小时前
机械狗的前置学习(python与Linux基础操作)
学习
吃我一窝jio6 小时前
Java Bug复盘与性能优化实战
java·开发语言·笔记
Rabitebla7 小时前
【Linux】文件篇(六):Shell 实战——从系统调用到命令行重定向
linux·服务器·c++·笔记·学习
Star(up up up)8 小时前
MySQL 事务隔离级别是如何实现的?从 MVCC 到锁机制原理详解
笔记·vscode·sql·学习·程序人生·mysql·学习方法
琳少_21 小时前
java程序开发笔记
java·开发语言·数据库·笔记
Z21-X1 天前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
一只大鸽子1 天前
游戏开发笔记7-Godot RPG游戏基础-场景切换、全局脚本
笔记·游戏·godot
console.log('npc')1 天前
Python 学习教程 · 第4课:数据结构
数据结构·python·学习