M2 运行 llamafile

安装llamafile很简单,进入官网,按照步骤安装运行即可。

https://github.com/Mozilla-Ocho/llamafile

  1. 下载 llava-v1.5-7b-q4.llamafile
  2. 赋予运行权限chmod +x llava-v1.5-7b-q4.llamafile
  3. 运行 ./llava-v1.5-7b-q4.llamafile -ngl 9999

    速度确实是比 ollama 快,ollama 用 qwen 1.5 7B 的模型。llamafile运行的是LLaVA 1.5,也是 7B 模型。下次试试能不能把 qwen 模型接入。

运行时遇到了一个问题

the cpu feature AVX was required at build time but isn't available on this system,解决这个问题,首先用 arm64 的 shell,然后用 root 启动 llamafile。

复制代码
arch -arm64 sh
su
./llava-v1.5-7b-q4.llamafile -ngl 9999
相关推荐
liliangcsdn1 天前
mac测试ollama llamaindex
数据仓库·人工智能·prompt·llama
茫茫人海一粒沙2 天前
使用 LLaMA 3 8B 微调一个 Reward Model:从入门到实践
llama
liliangcsdn3 天前
mac llama_index agent算术式子计算示例
人工智能·python·macos·llama
许愿与你永世安宁5 天前
RAG(检索增强生成)里的文档管理
数据库·人工智能·gpt·oracle·llama·rag
许愿与你永世安宁8 天前
基于Llama的RAG 3种模型配置方法
人工智能·python·自然语言处理·json·github·llama·faiss
至善迎风8 天前
本地部署 Kimi K2 全指南(llama.cpp、vLLM、Docker 三法)
docker·容器·llama·kimi
阿斯卡码8 天前
安装 llama-cpp-python 的CPU和GPU方法
开发语言·python·llama
学不会就看9 天前
llama-factory快速开始
llama
NullPointerExpection11 天前
LLM大语言模型不适合统计算数,可以让大模型根据数据自己建表、插入数据、编写查询sql统计
数据库·人工智能·sql·算法·llm·llama·工作流
MUTA️12 天前
Llama系列:Llama1, Llama2,Llama3内容概述
llama