Mac环境 llamafile 部署大语言模型LLM

文章目录

• Github
• 官网
• 本地部署

llamafile 是一种可在你自己的电脑上运行的可执行大型语言模型（LLM），它包含了给定的开放 LLM 的权重，以及运行该模型所需的一切。让人惊喜的是，你无需进行任何安装或配置。

Github

• https://github.com/Mozilla-Ocho/llamafile

官网

• https://ggml.ai/

本地部署

• 下载llava-v1.5-7b-q4.llama 文件 (3.97 GB)

# 执行权限
chmod +x llava-v1.5-7b-q4.llamafile
# 运行 llama
./llava-v1.5-7b-q4.llamafile -ngl 9999

• http://localhost:8080