下载 llama2-7b-hf 全流程【小白踩坑记录】

1、文件转换

  • 在官网 https://ai.meta.com/llama/ 申请一个账号,选择要下载的模型,会收到一个邮件,邮件中介绍了下载方法
  • 执行命令 git clone https://github.com/meta-llama/llama.git​ ,然后执行 llama/download.sh,需要输入URL地址的时候,就复制邮件里面的地址,后面再输入自己需要的模型大小。就得到了原始模型,如下图
  • 接下来就是对模型HF化了,在这个网址 https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py 下载 convert_llama_weights_to_hf.py 文件
  • 执行命令python convert_llama_weights_to_hf.py --input_dir llama-main --output_dir llama2_7b_hf --model_size 7B,llama-main就是刚才下载的模型文件的路径,llama2_7b_hf就是hf模型的输出路径。
  • 如果报没有huggingface transforms的错误,就执行pip install transformers,安装一下。我还报了下面这个错误
python 复制代码
ImportError: Using `low_cpu_mem_usage=True` or a `device_map` requires Accelerate: `pip install 'accelerate>=0.26.0'`
  • 需要执行 pip install accelerate==0.26.0 安装一下,下图是转换完成的控制台打印的信息
  • 我最终得到的是这些模型,和其他博客不一样,后续使用一下看看有没有问题吧(断断续续花好长时间才得到这样的结果 /(ㄒoㄒ)/~~,步骤和踩坑可能记录的不太全,可以结合其他博客一起看)

2、直接安装(没成功)

安装Git lfs

  • 官网https://github.com/git-lfs/git-lfs/releases

    翻到一个版本下面的下载列表,选择合适自己的版本,如果是Linux系统,不知道应该选AMD64还是ARM等的,可以通过命令 arch 查看,显示 x86_64 的就下载
  • 将压缩包解压,使用命令 tar -zxvf git-lfs-linux-amd64-v3.5.1.tar.gz
  • 进入到解压后的 git-lfs-3.5.1 文件夹,执行安装命令 ./install.sh。这里我出现了没有权限的错误,如下图
  • 打开 git-lfs-3.5.1 文件夹中的 install.sh 文件,修改prefix到自己有权限的文件夹,如下图
  • 再次执行 ./install.sh 命令,又报错了
  • 需要执行命令 git init 之后,再次执行命令 ./install.sh
  • 安装成功了,执行命令 export PATH=$PATH:刚才修改的prefix路径 ,可以再执行 git lfs install 验证是否安装成功。然后执行命令 git clone https://huggingface.co/meta-llama/Llama-2-7b-hf ,报了连接超时的错误,如下图
  • 看了一些博客说用镜像网站、pycrawlers下载的,都没成功。先放弃了 /(ㄒoㄒ)/~~
python 复制代码
如有错误,请多多指教!欢迎交流!
相关推荐
胡耀超14 小时前
我们如何写好提示词、发挥LLM能力、写作指南:从认知分析到动态构建的思维方法
人工智能·python·学习·大模型·llm·提示词·八要素思维
文浩(楠搏万)1 天前
XTTS实现语音克隆:精确控制音频格式与生成流程【TTS的实战指南】
大模型·tts·克隆·语音·声音克隆·音色·xtts
您的通讯录好友1 天前
TechGPT2部署
linux·人工智能·python·大模型·techgpt
之之为知知1 天前
Chromadb 1.0.15 索引全解析:从原理到实战的向量检索优化指南
人工智能·深度学习·机器学习·大模型·索引·向量数据库·chromadb
想躺平的咸鱼干2 天前
大模型开发
ai·大模型·ai应用开发技术架构
ATM0063 天前
MetaGPT源码剖析(三):多智能体系统的 “智能角色“ 核心实现——Role类
人工智能·大模型·agent·源码剖析·metagpt
贾全3 天前
【中文翻译】SmolVLA:面向低成本高效机器人的视觉-语言-动作模型
人工智能·机器人·大模型·vla·smolvla
小新学习屋4 天前
大模型就业方向
人工智能·深度学习·大模型·就业
陈敬雷-充电了么-CEO兼CTO4 天前
OpenAI发布ChatGPT Agent,AI智能体迎来关键变革
java·人工智能·python·gpt·chatgpt·大模型·agi