llamma笔记:部署Llama2

1 申请Llama2 许可

Download Llama (meta.com)

地址似乎不能填中国

1.1 获取url

提交申请后,填的那个邮箱会受到一封meta发来的邮件,打码部分的url,之后会用得上

2 ubuntu/linux 端部署Llama2

2.1 git clone Llama2的github 仓库

复制代码
 bash git clone https://github.com/facebookresearch/llama.git 

2.2 安装Llama2运行所需要的依赖

bash 复制代码
pip install -e .

2.3 下载模型权重

bash 复制代码
bash download.sh 
  • 随后命令行要求验证URL,将刚刚邮件中的打码的那一部分复制进去。
  • 然后输入你要下载的模型【如果下载多个,逗号分隔】

3 测试demo

python 复制代码
 torchrun --nproc_per_node 1 example_chat_completion.py     --ckpt_dir llama-2-7b-chat/     --tokenizer_path tokenizer.model     --max_seq_len 512 --max_batch_size 6 >1.txt 2>&1
相关推荐
刘婉晴5 小时前
【信息安全工程师备考笔记】第三章 密码学基本理论
笔记·安全·密码学
晓数7 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
我的golang之路果然有问题8 小时前
速成GO访问sql,个人笔记
经验分享·笔记·后端·sql·golang·go·database
lwewan8 小时前
26考研——存储系统(3)
c语言·笔记·考研
搞机小能手8 小时前
六个能够白嫖学习资料的网站
笔记·学习·分类
nongcunqq9 小时前
爬虫练习 js 逆向
笔记·爬虫
汐汐咯9 小时前
终端运行java出现???
笔记
无敌小茶11 小时前
Linux学习笔记之环境变量
linux·笔记
帅云毅12 小时前
Web3.0的认知补充(去中心化)
笔记·学习·web3·去中心化·区块链
豆豆12 小时前
day32 学习笔记
图像处理·笔记·opencv·学习·计算机视觉