llamma笔记:部署Llama2

1 申请Llama2 许可

Download Llama (meta.com)

地址似乎不能填中国

1.1 获取url

提交申请后,填的那个邮箱会受到一封meta发来的邮件,打码部分的url,之后会用得上

2 ubuntu/linux 端部署Llama2

2.1 git clone Llama2的github 仓库

复制代码
 bash git clone https://github.com/facebookresearch/llama.git 

2.2 安装Llama2运行所需要的依赖

bash 复制代码
pip install -e .

2.3 下载模型权重

bash 复制代码
bash download.sh 
  • 随后命令行要求验证URL,将刚刚邮件中的打码的那一部分复制进去。
  • 然后输入你要下载的模型【如果下载多个,逗号分隔】

3 测试demo

python 复制代码
 torchrun --nproc_per_node 1 example_chat_completion.py     --ckpt_dir llama-2-7b-chat/     --tokenizer_path tokenizer.model     --max_seq_len 512 --max_batch_size 6 >1.txt 2>&1
相关推荐
吴梓穆15 小时前
UE5学习笔记 FPS游戏制作38 继承标准UI
笔记·学习·ue5
V---scwantop---信16 小时前
英文字体:大胆都市街头Y2Y涂鸦风格品牌海报专辑封面服装字体 Chrome TM – Graffiti Font
笔记·字体
Moonnnn.16 小时前
运算放大器(四)滤波电路(滤波器)
笔记·学习·硬件工程
吴梓穆17 小时前
UE5学习笔记 FPS游戏制作37 蓝图函数库 自己定义公共方法
笔记·学习·ue5
吴梓穆17 小时前
UE5学习笔记 FPS游戏制作41 世界模式显示UI
笔记·学习·ue5
s_little_monster18 小时前
【Linux】进程信号的捕捉处理
linux·运维·服务器·经验分享·笔记·学习·学习方法
RedMery18 小时前
论文阅读笔记:Denoising Diffusion Implicit Models (4)
论文阅读·笔记
go_bai19 小时前
Linux环境基础开发工具——(2)vim
linux·开发语言·经验分享·笔记·vim·学习方法
吴梓穆19 小时前
UE5学习笔记 FPS游戏制作35 使用.csv配置文件
笔记·学习·ue5
100分题库小程序19 小时前
2025年机动车授权签字人考试判断题分享
经验分享·笔记