技术栈
llama3-8b
engchina
1 年前
人工智能
·
vllm
·
llama3
·
llama3-8b
使用 vllm 运行 Llama3-8b-Instruct
此文章主要介绍使用 vllm 运行 Llama3-8b。创建虚拟环境，安装 Ray 和 Vllm，安装 flash-attention，