大语言模型(LLM)入门 - (1) 相关概念

文章来自:大语言模型(LLM)小白入门自学项目-TiaoYu-1

GitHub - tiaoyu1122/TiaoYu-1: For People! For Freedom!For People! For Freedom! Contribute to tiaoyu1122/TiaoYu-1 development by creating an account on GitHub.https://github.com/tiaoyu1122/TiaoYu-1

项目优点:

  1. 行行代码都有"中文注释",方便阅读与理解。
  2. 覆盖了 全部训练流程,包括:预训练、有监督微调(SFT)、人类反馈强化学习(ELHF)、LoRA微调、推理模型训练(Reasoning)、知识蒸馏(KD)等。
  3. 配套有原理文档

阅读顺序推荐:

相关概念(文档) -> 模型构建(文档) -> (粗读)模型超参数(代码) -> (可选)预训练数据下载(代码) -> (可选)预训练数据处理(代码) -> 分词器(文档) -> 分词器(代码) -> (可选)分词器模型(json文件) -> LLM模型整体结构(代码) -> 模型超参数(代码)-> 嵌入层(文档) -> 正则化(文档) -> 位置编码(文档) -> 位置编码(代码) -> 归一化(文档) -> 归一化(代码) -> 线性层(文档)-> 激活函数(文档) -> 解码器(文档) -> 解码器(代码) 多头掩码自注意力机制(文档) -> 多头掩码自注意力机制(代码) ->Flash Attention(文档) -> MOE前馈神经网络(文档) -> MOE前馈神经网络(代码) -> 输出结果类(代码) -> 预训练数据加载(代码) -> 交叉熵损失函数(文档) -> 信息量、熵、交叉熵、KL散度等(文档) -> 优化器(文档) -> (复习)模型构建(文档) -> 预训练(代码) -> SFT(代码) -> 人类反馈强化学习(文档) -> 人类反馈强化学习(代码) -> LoRA微调(代码) -> 知识蒸馏(代码) -> 推理模型训练(代码) (可选)分类模型评价指标(文档) -> (可选)梯度消失与梯度爆炸(文档) -> (可选)非极大抑制算法(文档)-> (可选)GPT和BERT(文档) -> (可选)Q-Former(文档)


相关推荐
张彦峰ZYF29 分钟前
从检索到生成:RAG 如何重构大模型的知识边界?
人工智能·ai·aigc
刘海东刘海东31 分钟前
结构型智能科技的关键可行性——信息型智能向结构型智能的转变(修改提纲)
人工智能·算法·机器学习
**梯度已爆炸**1 小时前
NLP文本预处理
人工智能·深度学习·nlp
uncle_ll1 小时前
李宏毅NLP-8-语音模型
人工智能·自然语言处理·语音识别·语音模型·lm
Liudef061 小时前
FLUX.1-Kontext 高效训练 LoRA:释放大语言模型定制化潜能的完整指南
人工智能·语言模型·自然语言处理·ai作画·aigc
静心问道1 小时前
大型语言模型中的自动化思维链提示
人工智能·语言模型·大模型
众链网络1 小时前
你的Prompt还有很大提升
人工智能·prompt·ai写作·ai工具·ai智能体
汀沿河1 小时前
2 大模型高效参数微调;prompt tunning
人工智能·深度学习·prompt
路溪非溪2 小时前
机器学习之线性回归
人工智能·机器学习·线性回归
搞笑的秀儿3 小时前
信息新技术
大数据·人工智能·物联网·云计算·区块链