技术栈
llama模型结构
lokvke
2 年前
nlp
·
大语言模型
·
llama
·
源码阅读
·
llama模型结构
Llama模型结构解析(源码阅读)
前言:本次阅读代码位置,在transformers库底下的modeling_llama.py,具体位置在:transformers/models/llama/modeling_llama.py,如下图所示: