AIGC学习笔记(2)——AI大模型开发工程师

文章目录

AI大模型开发工程师

001 AI 大模型应用开发基础

1 AI 大模型应用开发基础准备

网络环境
  • 需要科学上网
  • OpenAI账户
开发环境
  • 语言:Python3(建议Python3.10及以上)
  • 开发工具:Pycharm,Visual Studio Code都行,喜欢什么用什么就行
  • 课程演示:Jypter Notebook
资源准备
如何租赁云服务器?

2 大白话解释 AI 大模型原理

成语接龙和暴力穷举
大模型如何理解人类语言
  • 计算机底层:二进制
  • 将 现实问题 转化为 数学问题
如何存储数据?
如何存储图像?
如何让电脑知道存的是什么?
向量化
  • 将 东西 与 数字组合,比如 0, 180, 75, 35 分别表示 性别, 身高, 体重, 年龄
  • 更多维度:
    • 【性别,年龄,身高,体重,胸围,肤色,腰围,体脂率,爱好,语言,城市,收入等】
    • 【0,22,170,170,170,11,22,33,65, 345,67,8888】
为什么需要向量化?
  • 方便电脑处理
  • 寻找规律
  • 每个字都是用数字代替
    • 床【0,11,2,33,44,54,66,75,89,12】
    • 大【0,11,2.234,...】
    • 美【0,11,2.222,...】
  • 向量可以计算
    • 相加、相减、相乘

出现了难题

  • 坐标要多少维度?
  • 每个维度代表什么?
调整位置
  • 通过计算距离,不断调整位置
科学的方式
Word2vec算法
信息压缩与特征提取

问题

谷歌论文-自注意力机制
  • 解决了自然语言特征提取的问题
  • 解决问题的思路
TransFormer算法演进
通用人工智能模型
  • 在此之前,都是一些细分领域:围棋、玩游戏、图像识别、设计模型、标注数据等
  • 而通用人工智能,是利用自然语言,理解整个文明成果的能力,和人类无缝交流的能力

发展分支

  • 涌现智能
百模大战

3 手推Transformer网络架构

Transformer 网络架构
  • Add:防止梯度退化
  • Norm:归一化
  • Feed Forward:全链接前馈网络
独热编码(one-hot编码)
word2vec
  • Q 矩阵,对于任何一个独热编码的词向量都可以通过 Q 矩阵得到新的词向量

缺点:多义词

ELMo模型
Multi-head Self Attention

4 Transformer 网络架构源码剖析

从代码层面理解 Transformer
  • 举一个简单的案例

用到的技术:Python、Pytorch(用于开发机器学习和深度学习的框架)

输入向量化 Input Embedding
位置编码 Positional Encoding
多头自注意力机制 Multi-Head Attention
  • 自注意力实现

mask:是否做掩码

dropout:为了防止过拟合

  • 多头注意力实现
防退化&标准化 Add&Norm
前馈网络 Feed Forward

relu:激活函数

编码器

clone_module_to_modulelist:克隆出多层

self.attn:自注意力

解码器
输出概率
整体 Transformer

5 OpenAI GPT 不同版本对比

  • 虽然使用的都是 Transformer 网络架构,但是各个模型训练数据不一样、训练目标不一样、训练时间也不一样,因此表现出的特性和性能也不一样。
各大模型
  • 在线大模型:GPT、GLM、Gemini、Claude3
  • 开源大模型:Llama、Qwen、baichuan、ChatGLM3
GPT系列对比
相关推荐
AI创界者26 分钟前
Python 进阶实战(五十四章):大模型推理网关终极架构——分布式全局前缀 Trie 缓存同步与多网关高可用协同调度
人工智能·python·aigc
后端小肥肠42 分钟前
公众号里流量很夯的漫画赛道:趣味漫画创作全拆解
人工智能·aigc·agent
宝桥南山2 小时前
Visual Studio 2026新特性 - 可以直接连接DeepSeek(使用Custom Endpoint Provider配置项)
ide·microsoft·微软·aigc·.net·visual studio
xyphf_和派孔明2 小时前
第六章: AI Agent长期记忆的存储引擎介绍
langchain·llm·agent
xyphf_和派孔明2 小时前
第四章: AI Agent短期记忆的信息管理机制设计
langchain·llm·agent
程序员鱼皮3 小时前
这 3 年 AI Agent 到底进化了啥?万字大白话,一次讲透!
前端·后端·aigc
mengrennwpu4 小时前
Kynvio: 新一代办公助手
llm·agent
Baihai_IDP6 小时前
使用场景不同,模型“推理速度慢”的原因也不同
人工智能·面试·llm
LV技术派18 小时前
肝了一周,我把 Super Agent 的架构融入到了我的 AI Native 工作台中
aigc·ai编程
stormzhangV20 小时前
Google 重返第一梯队
人工智能·google·aigc