AI软件栈：推理框架（二）-Llama CPP1

Llama CPP的主要构造，GGUF和GGML为两个主要部分，包括模型描述文件和模型参数存储文件

文章目录

• GGUF
• 构建图
• 读取权重

GGUF

• llama.cpp 的作者 Georgi Gerganov 提出的新一代大模型描述文件 GPT-Generated Unified Format，继承自GGML，但是克服了GGML的一些缺点
  • 例如，缺少版本信息难以向后兼容；信息增加或者修改不变，手动修改模型信息不方便等；

构建图

• 通过llma_bulid_graph在不同的基础模型之上进行参数设计（例如 llama、baichuan、MINICPM 、GEMMA、STARCODER、BERT、QW、QW2等，甚至还有MEMBA）
• 在每个类GPT之中，通过基函数描述了计算流，同时通过暴露层数、token维度等参数作为可调模型

读取权重

• 设计了基于分块的tensor组装，同时使用描述文件将对每个tensor及其size进行区分