llamma笔记:部署Llama2

1 申请Llama2 许可

Download Llama (meta.com)

地址似乎不能填中国

1.1 获取url

提交申请后,填的那个邮箱会受到一封meta发来的邮件,打码部分的url,之后会用得上

2 ubuntu/linux 端部署Llama2

2.1 git clone Llama2的github 仓库

 bash git clone https://github.com/facebookresearch/llama.git 

2.2 安装Llama2运行所需要的依赖

bash 复制代码
pip install -e .

2.3 下载模型权重

bash 复制代码
bash download.sh 
  • 随后命令行要求验证URL,将刚刚邮件中的打码的那一部分复制进去。
  • 然后输入你要下载的模型【如果下载多个,逗号分隔】

3 测试demo

python 复制代码
 torchrun --nproc_per_node 1 example_chat_completion.py     --ckpt_dir llama-2-7b-chat/     --tokenizer_path tokenizer.model     --max_seq_len 512 --max_batch_size 6 >1.txt 2>&1
相关推荐
幸运超级加倍~35 分钟前
软件设计师-上午题-15 计算机网络(5分)
笔记·计算机网络
芊寻(嵌入式)2 小时前
C转C++学习笔记--基础知识摘录总结
开发语言·c++·笔记·学习
准橙考典2 小时前
怎么能更好的通过驾考呢?
人工智能·笔记·自动驾驶·汽车·学习方法
密码小丑4 小时前
11月4日(内网横向移动(一))
笔记
鸭鸭梨吖5 小时前
产品经理笔记
笔记·产品经理
齐 飞5 小时前
MongoDB笔记01-概念与安装
前端·数据库·笔记·后端·mongodb
丫头,冲鸭!!!6 小时前
B树(B-Tree)和B+树(B+ Tree)
笔记·算法
听忆.6 小时前
手机屏幕上进行OCR识别方案
笔记
Selina K7 小时前
shell脚本知识点记录
笔记·shell
7 小时前
开源竞争-数据驱动成长-11/05-大专生的思考
人工智能·笔记·学习·算法·机器学习