下载 llama2-7b-hf 全流程【小白踩坑记录】

乌漆嘎嘎黑2024-09-18 13:11

1、文件转换

在官网 https://ai.meta.com/llama/ 申请一个账号，选择要下载的模型，会收到一个邮件，邮件中介绍了下载方法
执行命令 git clone https://github.com/meta-llama/llama.git ，然后执行 llama/download.sh，需要输入URL地址的时候，就复制邮件里面的地址，后面再输入自己需要的模型大小。就得到了原始模型，如下图
接下来就是对模型HF化了，在这个网址 https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py 下载 convert_llama_weights_to_hf.py 文件
执行命令python convert_llama_weights_to_hf.py --input_dir llama-main --output_dir llama2_7b_hf --model_size 7B，llama-main就是刚才下载的模型文件的路径，llama2_7b_hf就是hf模型的输出路径。
如果报没有huggingface transforms的错误，就执行pip install transformers，安装一下。我还报了下面这个错误

python 复制代码

ImportError: Using `low_cpu_mem_usage=True` or a `device_map` requires Accelerate: `pip install 'accelerate>=0.26.0'`

需要执行 pip install accelerate==0.26.0 安装一下，下图是转换完成的控制台打印的信息
我最终得到的是这些模型，和其他博客不一样，后续使用一下看看有没有问题吧（断断续续花好长时间才得到这样的结果 /(ㄒoㄒ)/~~，步骤和踩坑可能记录的不太全，可以结合其他博客一起看）

安装Git lfs

去官网，https://github.com/git-lfs/git-lfs/releases

翻到一个版本下面的下载列表，选择合适自己的版本，如果是Linux系统，不知道应该选AMD64还是ARM等的，可以通过命令 arch 查看，显示 x86_64 的就下载
将压缩包解压，使用命令 tar -zxvf git-lfs-linux-amd64-v3.5.1.tar.gz。
进入到解压后的 git-lfs-3.5.1 文件夹，执行安装命令 ./install.sh。这里我出现了没有权限的错误，如下图
打开 git-lfs-3.5.1 文件夹中的 install.sh 文件，修改prefix到自己有权限的文件夹，如下图
再次执行 ./install.sh 命令，又报错了
需要执行命令 git init 之后，再次执行命令 ./install.sh
安装成功了，执行命令 export PATH=$PATH:刚才修改的prefix路径 ，可以再执行 git lfs install 验证是否安装成功。然后执行命令 git clone https://huggingface.co/meta-llama/Llama-2-7b-hf ，报了连接超时的错误，如下图
看了一些博客说用镜像网站、pycrawlers下载的，都没成功。先放弃了 /(ㄒoㄒ)/~~

python 复制代码

如有错误，请多多指教！欢迎交流！