llamma笔记:部署Llama2

1 申请Llama2 许可

Download Llama (meta.com)

地址似乎不能填中国

1.1 获取url

提交申请后,填的那个邮箱会受到一封meta发来的邮件,打码部分的url,之后会用得上

2 ubuntu/linux 端部署Llama2

2.1 git clone Llama2的github 仓库

 bash git clone https://github.com/facebookresearch/llama.git 

2.2 安装Llama2运行所需要的依赖

bash 复制代码
pip install -e .

2.3 下载模型权重

bash 复制代码
bash download.sh 
  • 随后命令行要求验证URL,将刚刚邮件中的打码的那一部分复制进去。
  • 然后输入你要下载的模型【如果下载多个,逗号分隔】

3 测试demo

python 复制代码
 torchrun --nproc_per_node 1 example_chat_completion.py     --ckpt_dir llama-2-7b-chat/     --tokenizer_path tokenizer.model     --max_seq_len 512 --max_batch_size 6 >1.txt 2>&1
相关推荐
xiaoyalian1 小时前
R语言绘图过程中遇到图例的图块中出现字符“a“的解决方法
笔记·r语言·数据可视化
Red Red3 小时前
网安基础知识|IDS入侵检测系统|IPS入侵防御系统|堡垒机|VPN|EDR|CC防御|云安全-VDC/VPC|安全服务
网络·笔记·学习·安全·web安全
贰十六4 小时前
笔记:Centos Nginx Jdk Mysql OpenOffce KkFile Minio安装部署
笔记·nginx·centos
知兀4 小时前
Java的方法、基本和引用数据类型
java·笔记·黑马程序员
醉陌离5 小时前
渗透测试笔记——shodan(4)
笔记
LateBloomer7775 小时前
FreeRTOS——信号量
笔记·stm32·学习·freertos
legend_jz5 小时前
【Linux】线程控制
linux·服务器·开发语言·c++·笔记·学习·学习方法
Komorebi.py5 小时前
【Linux】-学习笔记04
linux·笔记·学习
fengbizhe6 小时前
笔试-笔记2
c++·笔记
余为民同志6 小时前
mini-lsm通关笔记Week2Day4
笔记