AIGC学习笔记(2)——AI大模型开发工程师

文章目录

AI大模型开发工程师

001 AI 大模型应用开发基础

1 AI 大模型应用开发基础准备

网络环境
  • 需要科学上网
  • OpenAI账户
开发环境
  • 语言:Python3(建议Python3.10及以上)
  • 开发工具:Pycharm,Visual Studio Code都行,喜欢什么用什么就行
  • 课程演示:Jypter Notebook
资源准备
如何租赁云服务器?

2 大白话解释 AI 大模型原理

成语接龙和暴力穷举
大模型如何理解人类语言
  • 计算机底层:二进制
  • 将 现实问题 转化为 数学问题
如何存储数据?
如何存储图像?
如何让电脑知道存的是什么?
向量化
  • 将 东西 与 数字组合,比如 [0, 180, 75, 35] 分别表示 [性别, 身高, 体重, 年龄]
  • 更多维度:
    • 【性别,年龄,身高,体重,胸围,肤色,腰围,体脂率,爱好,语言,城市,收入等】
    • 【0,22,170,170,170,11,22,33,65, 345,67,8888】
为什么需要向量化?
  • 方便电脑处理
  • 寻找规律
  • 每个字都是用数字代替
    • 床【0,11,2,33,44,54,66,75,89,12】
    • 大【0,11,2.234,...】
    • 美【0,11,2.222,...】
  • 向量可以计算
    • 相加、相减、相乘

出现了难题

  • 坐标要多少维度?
  • 每个维度代表什么?
调整位置
  • 通过计算距离,不断调整位置
科学的方式
Word2vec算法
信息压缩与特征提取

问题

谷歌论文-自注意力机制
  • 解决了自然语言特征提取的问题
  • 解决问题的思路
TransFormer算法演进
通用人工智能模型
  • 在此之前,都是一些细分领域:围棋、玩游戏、图像识别、设计模型、标注数据等
  • 而通用人工智能,是利用自然语言,理解整个文明成果的能力,和人类无缝交流的能力

发展分支

  • 涌现智能
百模大战

3 手推Transformer网络架构

Transformer 网络架构
  • Add:防止梯度退化
  • Norm:归一化
  • Feed Forward:全链接前馈网络
独热编码(one-hot编码)
word2vec
  • Q 矩阵,对于任何一个独热编码的词向量都可以通过 Q 矩阵得到新的词向量

缺点:多义词

ELMo模型
Multi-head Self Attention

4 Transformer 网络架构源码剖析

从代码层面理解 Transformer
  • 举一个简单的案例

用到的技术:Python、Pytorch(用于开发机器学习和深度学习的框架)

输入向量化 Input Embedding
位置编码 Positional Encoding
多头自注意力机制 Multi-Head Attention
  • 自注意力实现

mask:是否做掩码

dropout:为了防止过拟合

  • 多头注意力实现
防退化&标准化 Add&Norm
前馈网络 Feed Forward

relu:激活函数

编码器

clone_module_to_modulelist:克隆出多层

self.attn:自注意力

解码器
输出概率
整体 Transformer

5 OpenAI GPT 不同版本对比

  • 虽然使用的都是 Transformer 网络架构,但是各个模型训练数据不一样、训练目标不一样、训练时间也不一样,因此表现出的特性和性能也不一样。
各大模型
  • 在线大模型:GPT、GLM、Gemini、Claude3
  • 开源大模型:Llama、Qwen、baichuan、ChatGLM3
GPT系列对比
相关推荐
玩AI的小胡子14 分钟前
目前主流的人工智能学习框架有哪些?
人工智能·aigc
DisonTangor4 小时前
OPPO开源Diffusion多语言适配器—— MultilingualSD3-adapter 和 ChineseFLUX.1-adapter
人工智能·ai作画·开源·aigc
AIBox36512 小时前
斯坦福医学部发布GPT润色本子教程
gpt·chatgpt·aigc
学习前端的小z14 小时前
【AIGC】ChatGPT提示词Prompt高效编写技巧:逆向拆解OpenAI官方提示词
人工智能·chatgpt·prompt·aigc
懒惰才能让科技进步16 小时前
从零学习大模型(十三)-----LayerDrop 和 Layer Pruning
人工智能·python·深度学习·chatgpt·transformer·剪枝
蚝油菜花1 天前
MeetingMind:AI 会议助手,支持自动转录音频并提取会议中的关键信息
人工智能·开源·llm
0_1_bits1 天前
【AIGC】如何充分利用ChatGPT:有效提示框架与基本规则
人工智能·chatgpt·aigc
Agile.Zhou1 天前
给 Ollama 穿上 GPT 的外衣
llm·ollama
阿牛牛阿1 天前
pairwise算法之rank svm
人工智能·算法·机器学习·支持向量机·ai·aigc
成为深度学习高手2 天前
XLSTM+transformer时间序列预测代码
人工智能·深度学习·transformer