大语言模型(LLM)入门 - (1) 相关概念

文章来自:大语言模型(LLM)小白入门自学项目-TiaoYu-1

GitHub - tiaoyu1122/TiaoYu-1: For People! For Freedom!For People! For Freedom! Contribute to tiaoyu1122/TiaoYu-1 development by creating an account on GitHub.https://github.com/tiaoyu1122/TiaoYu-1

项目优点:

  1. 行行代码都有"中文注释",方便阅读与理解。
  2. 覆盖了 全部训练流程,包括:预训练、有监督微调(SFT)、人类反馈强化学习(ELHF)、LoRA微调、推理模型训练(Reasoning)、知识蒸馏(KD)等。
  3. 配套有原理文档

阅读顺序推荐:

相关概念(文档) -> 模型构建(文档) -> (粗读)模型超参数(代码) -> (可选)预训练数据下载(代码) -> (可选)预训练数据处理(代码) -> 分词器(文档) -> 分词器(代码) -> (可选)分词器模型(json文件) -> LLM模型整体结构(代码) -> 模型超参数(代码)-> 嵌入层(文档) -> 正则化(文档) -> 位置编码(文档) -> 位置编码(代码) -> 归一化(文档) -> 归一化(代码) -> 线性层(文档)-> 激活函数(文档) -> 解码器(文档) -> 解码器(代码) 多头掩码自注意力机制(文档) -> 多头掩码自注意力机制(代码) ->Flash Attention(文档) -> MOE前馈神经网络(文档) -> MOE前馈神经网络(代码) -> 输出结果类(代码) -> 预训练数据加载(代码) -> 交叉熵损失函数(文档) -> 信息量、熵、交叉熵、KL散度等(文档) -> 优化器(文档) -> (复习)模型构建(文档) -> 预训练(代码) -> SFT(代码) -> 人类反馈强化学习(文档) -> 人类反馈强化学习(代码) -> LoRA微调(代码) -> 知识蒸馏(代码) -> 推理模型训练(代码) (可选)分类模型评价指标(文档) -> (可选)梯度消失与梯度爆炸(文档) -> (可选)非极大抑制算法(文档)-> (可选)GPT和BERT(文档) -> (可选)Q-Former(文档)


相关推荐
人生都在赌2 分钟前
MCP生态全景:2025年最值得关注的AI工具集成现状深度调研
人工智能·ai编程·mcp
落了一地秋1 小时前
4.5 优化器中常见的梯度下降算法
人工智能·算法·机器学习
格林威1 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现卫星图像识别(C#代码,UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
豆浆Whisky1 小时前
字节Coze入场开源,一文搞定基础部署和实践,放弃Dify?
人工智能·coze
柠檬味拥抱1 小时前
基于YOLOv8的边坡排水沟堵塞检测与识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
人工智能
李想AI1 小时前
Coze智能体本地部署保姆级教程
人工智能
TechubNews1 小时前
RWA与DeFi(去中心化金融)的关系是什么?RWA在DeFi中扮演什么角色?
人工智能·区块链
AndrewHZ1 小时前
【图像处理基石】如何对遥感图像进行目标检测?
图像处理·人工智能·pytorch·目标检测·遥感图像·小目标检测·旋转目标检测
非优秀程序员1 小时前
8 个提升开发者效率的小众 AI 项目
前端·人工智能·后端
留意_yl2 小时前
量化感知训练(QAT)流程
人工智能