llamma笔记:部署Llama2

1 申请Llama2 许可

Download Llama (meta.com)

地址似乎不能填中国

1.1 获取url

提交申请后,填的那个邮箱会受到一封meta发来的邮件,打码部分的url,之后会用得上

2 ubuntu/linux 端部署Llama2

2.1 git clone Llama2的github 仓库

复制代码
 bash git clone https://github.com/facebookresearch/llama.git 

2.2 安装Llama2运行所需要的依赖

bash 复制代码
pip install -e .

2.3 下载模型权重

bash 复制代码
bash download.sh 
  • 随后命令行要求验证URL,将刚刚邮件中的打码的那一部分复制进去。
  • 然后输入你要下载的模型【如果下载多个,逗号分隔】

3 测试demo

python 复制代码
 torchrun --nproc_per_node 1 example_chat_completion.py     --ckpt_dir llama-2-7b-chat/     --tokenizer_path tokenizer.model     --max_seq_len 512 --max_batch_size 6 >1.txt 2>&1
相关推荐
Sakura_j_h_1 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
前进的李工5 小时前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
希和20278 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
北风toto8 小时前
Spring Boot 常用注解 · 概要笔记
spring boot·笔记·后端
下一站春风里9 小时前
Spring IoC 控制反转 完整技术笔记
java·spring boot·笔记·spring
一只大鸽子21 小时前
游戏开发笔记4-像素画基础 轮廓-直线和曲线
笔记
小杨小杨、努力变强!1 天前
python学习笔记
笔记·学习
杨逢昌工厂6S管理1 天前
150-杨逢昌一线现场诊断笔记:越管一线越抵触背后的熵增机理与基准化治理
经验分享·笔记·职场和发展·学习方法
Star(up up up)1 天前
Redis Windows 安装教程:使用Windows 的 Redis 压缩包
redis·笔记·学习·程序人生·云原生·学习方法·改行学it
希和20271 天前
江科大 51 单片机课程笔记:DS1302 实时时钟 + LCD1602 可调电子钟(小白逐行讲解)
笔记·单片机·嵌入式硬件