大模型学习笔记 - 大纲

LLM 大纲

• [LLM 大纲](#LLM 大纲)
  • [1. LLM 模型架构](#1. LLM 模型架构)
    • [LLM 技术细节 - 注意力机制](#LLM 技术细节 - 注意力机制)
    • [LLM 技术细节 - 位置编码](#LLM 技术细节 - 位置编码)
  • [2. LLM 预训练](#2. LLM 预训练)
  • [3. LLM 指令微调](#3. LLM 指令微调)
    • [LLM 高效微调技术](#LLM 高效微调技术)
  • [4. LLM 人类对齐](#4. LLM 人类对齐)
    • [LLM InstructGPT](#LLM InstructGPT)
    • [LLM PPO算法](#LLM PPO算法)
    • [LLM DPO 算法](#LLM DPO 算法)
  • [5. LLM 解码与部署](#5. LLM 解码与部署)
  • [6. LLM 模型LLaMA 系列](#6. LLM 模型LLaMA 系列)
  • [7. LLM RAG](#7. LLM RAG)

1. LLM 模型架构

大模型学习笔记 - LLM模型架构

LLM 技术细节 - 注意力机制

To Be added

LLM 技术细节 - 位置编码

To Be added

2. LLM 预训练

大模型学习笔记 - LLM 预训练

3. LLM 指令微调

大模型学习笔记 - LLM指令微调

LLM 高效微调技术

TO Be Added

4. LLM 人类对齐

大模型学习笔记 - LLM 之RLHF人类对齐的简单总结

LLM InstructGPT

大模型学习笔记 - InstructGPT中的微调与对齐

LLM PPO算法

To Be added

LLM DPO 算法

To Be added

5. LLM 解码与部署

大模型学习笔记 - LLM 解码与部署

6. LLM 模型LLaMA 系列

To Be added

7. LLM RAG

To Be added