AIGC学习笔记(2)——AI大模型开发工程师

文章目录

AI大模型开发工程师

001 AI 大模型应用开发基础

1 AI 大模型应用开发基础准备

网络环境
  • 需要科学上网
  • OpenAI账户
开发环境
  • 语言:Python3(建议Python3.10及以上)
  • 开发工具:Pycharm,Visual Studio Code都行,喜欢什么用什么就行
  • 课程演示:Jypter Notebook
资源准备
如何租赁云服务器?

2 大白话解释 AI 大模型原理

成语接龙和暴力穷举
大模型如何理解人类语言
  • 计算机底层:二进制
  • 将 现实问题 转化为 数学问题
如何存储数据?
如何存储图像?
如何让电脑知道存的是什么?
向量化
  • 将 东西 与 数字组合,比如 [0, 180, 75, 35] 分别表示 [性别, 身高, 体重, 年龄]
  • 更多维度:
    • 【性别,年龄,身高,体重,胸围,肤色,腰围,体脂率,爱好,语言,城市,收入等】
    • 【0,22,170,170,170,11,22,33,65, 345,67,8888】
为什么需要向量化?
  • 方便电脑处理
  • 寻找规律
  • 每个字都是用数字代替
    • 床【0,11,2,33,44,54,66,75,89,12】
    • 大【0,11,2.234,...】
    • 美【0,11,2.222,...】
  • 向量可以计算
    • 相加、相减、相乘

出现了难题

  • 坐标要多少维度?
  • 每个维度代表什么?
调整位置
  • 通过计算距离,不断调整位置
科学的方式
Word2vec算法
信息压缩与特征提取

问题

谷歌论文-自注意力机制
  • 解决了自然语言特征提取的问题
  • 解决问题的思路
TransFormer算法演进
通用人工智能模型
  • 在此之前,都是一些细分领域:围棋、玩游戏、图像识别、设计模型、标注数据等
  • 而通用人工智能,是利用自然语言,理解整个文明成果的能力,和人类无缝交流的能力

发展分支

  • 涌现智能
百模大战

3 手推Transformer网络架构

Transformer 网络架构
  • Add:防止梯度退化
  • Norm:归一化
  • Feed Forward:全链接前馈网络
独热编码(one-hot编码)
word2vec
  • Q 矩阵,对于任何一个独热编码的词向量都可以通过 Q 矩阵得到新的词向量

缺点:多义词

ELMo模型
Multi-head Self Attention

4 Transformer 网络架构源码剖析

从代码层面理解 Transformer
  • 举一个简单的案例

用到的技术:Python、Pytorch(用于开发机器学习和深度学习的框架)

输入向量化 Input Embedding
位置编码 Positional Encoding
多头自注意力机制 Multi-Head Attention
  • 自注意力实现

mask:是否做掩码

dropout:为了防止过拟合

  • 多头注意力实现
防退化&标准化 Add&Norm
前馈网络 Feed Forward

relu:激活函数

编码器

clone_module_to_modulelist:克隆出多层

self.attn:自注意力

解码器
输出概率
整体 Transformer

5 OpenAI GPT 不同版本对比

  • 虽然使用的都是 Transformer 网络架构,但是各个模型训练数据不一样、训练目标不一样、训练时间也不一样,因此表现出的特性和性能也不一样。
各大模型
  • 在线大模型:GPT、GLM、Gemini、Claude3
  • 开源大模型:Llama、Qwen、baichuan、ChatGLM3
GPT系列对比
相关推荐
程序员X小鹿3 小时前
AI视频自动剪辑神器!点赞上万的影视剧片段,一键全自动剪辑,效率提升80%!(附保姆级教程)
aigc
我爱学Python!4 小时前
解决复杂查询难题:如何通过 Self-querying Prompting 提高 RAG 系统效率?
人工智能·程序人生·自然语言处理·大模型·llm·大语言模型·rag
rommel rain6 小时前
SpecInfer论文阅读
人工智能·语言模型·transformer
桦仔8 小时前
全新向量数据库SQL Server 2025:带你迈入AI驱动的数据未来
向量数据库·ai数据库·sql server2025
学习前端的小z8 小时前
【AIGC】如何准确引导ChatGPT,实现精细化GPTs指令生成
人工智能·gpt·chatgpt·aigc
刘悦的技术博客19 小时前
MagicQuill,AI动态图像元素修改,AI绘图,需要40G的本地硬盘空间,12G显存可玩,Win11本地部署
ai·aigc·python3.11
Just Jump19 小时前
机器翻译基础与模型 之三:基于自注意力的模型
自然语言处理·transformer·机器翻译
xindoo1 天前
如何用GPT-4o解读视频
aigc·gpt-3·音视频
任某某01161 天前
第四期书生大模型实战营 - 基础岛闯关作业3 - 浦语提示词工程实践
llm
起名字真南1 天前
【C++】深入理解 C++ 中的继承进阶:多继承、菱形继承及其解决方案
java·jvm·c++·chatgpt·aigc