AIGC学习笔记(2)——AI大模型开发工程师

文章目录

AI大模型开发工程师

001 AI 大模型应用开发基础

1 AI 大模型应用开发基础准备

网络环境
  • 需要科学上网
  • OpenAI账户
开发环境
  • 语言:Python3(建议Python3.10及以上)
  • 开发工具:Pycharm,Visual Studio Code都行,喜欢什么用什么就行
  • 课程演示:Jypter Notebook
资源准备
如何租赁云服务器?

2 大白话解释 AI 大模型原理

成语接龙和暴力穷举
大模型如何理解人类语言
  • 计算机底层:二进制
  • 将 现实问题 转化为 数学问题
如何存储数据?
如何存储图像?
如何让电脑知道存的是什么?
向量化
  • 将 东西 与 数字组合,比如 [0, 180, 75, 35] 分别表示 [性别, 身高, 体重, 年龄]
  • 更多维度:
    • 【性别,年龄,身高,体重,胸围,肤色,腰围,体脂率,爱好,语言,城市,收入等】
    • 【0,22,170,170,170,11,22,33,65, 345,67,8888】
为什么需要向量化?
  • 方便电脑处理
  • 寻找规律
  • 每个字都是用数字代替
    • 床【0,11,2,33,44,54,66,75,89,12】
    • 大【0,11,2.234,...】
    • 美【0,11,2.222,...】
  • 向量可以计算
    • 相加、相减、相乘

出现了难题

  • 坐标要多少维度?
  • 每个维度代表什么?
调整位置
  • 通过计算距离,不断调整位置
科学的方式
Word2vec算法
信息压缩与特征提取

问题

谷歌论文-自注意力机制
  • 解决了自然语言特征提取的问题
  • 解决问题的思路
TransFormer算法演进
通用人工智能模型
  • 在此之前,都是一些细分领域:围棋、玩游戏、图像识别、设计模型、标注数据等
  • 而通用人工智能,是利用自然语言,理解整个文明成果的能力,和人类无缝交流的能力

发展分支

  • 涌现智能
百模大战

3 手推Transformer网络架构

Transformer 网络架构
  • Add:防止梯度退化
  • Norm:归一化
  • Feed Forward:全链接前馈网络
独热编码(one-hot编码)
word2vec
  • Q 矩阵,对于任何一个独热编码的词向量都可以通过 Q 矩阵得到新的词向量

缺点:多义词

ELMo模型
Multi-head Self Attention

4 Transformer 网络架构源码剖析

从代码层面理解 Transformer
  • 举一个简单的案例

用到的技术:Python、Pytorch(用于开发机器学习和深度学习的框架)

输入向量化 Input Embedding
位置编码 Positional Encoding
多头自注意力机制 Multi-Head Attention
  • 自注意力实现

mask:是否做掩码

dropout:为了防止过拟合

  • 多头注意力实现
防退化&标准化 Add&Norm
前馈网络 Feed Forward

relu:激活函数

编码器

clone_module_to_modulelist:克隆出多层

self.attn:自注意力

解码器
输出概率
整体 Transformer

5 OpenAI GPT 不同版本对比

  • 虽然使用的都是 Transformer 网络架构,但是各个模型训练数据不一样、训练目标不一样、训练时间也不一样,因此表现出的特性和性能也不一样。
各大模型
  • 在线大模型:GPT、GLM、Gemini、Claude3
  • 开源大模型:Llama、Qwen、baichuan、ChatGLM3
GPT系列对比
相关推荐
花酒锄作田1 小时前
用FastAPI和Streamlit实现一个ChatBot
llm·fastapi·streamlit
墨风如雪4 小时前
“小钢炮”驾到!VoxCPM:0.5B参数,震撼AI语音圈
aigc
r0ad8 小时前
有没有可能不微调也能让大模型准确完成指定任务?(少样本学习)
llm
算家计算8 小时前
模糊高清修复真王炸!ComfyUI-SeedVR2-Kontext(画质修复+P图)本地部署教程
人工智能·开源·aigc
虫无涯8 小时前
LangSmith:大模型应用开发的得力助手
人工智能·langchain·llm
聚客AI10 小时前
🎉7.6倍训练加速与24倍吞吐提升:两项核心技术背后的大模型推理优化全景图
人工智能·llm·掘金·日新计划
大模型教程10 小时前
小白学大模型:降低幻觉的六种方法
程序员·llm·agent
AI大模型10 小时前
小白学大模型:适合1B模型的17个提示词
程序员·llm·agent
CoovallyAIHub10 小时前
开源的消逝与新生:从 TensorFlow 的落幕到开源生态的蜕变
pytorch·深度学习·llm
用户51914958484510 小时前
C#记录类型与集合的深度解析:从默认实现到自定义比较器
人工智能·aigc