Mac跑llama.cpp过程中遇到的问题

原repo

  1. 在华为手机上安装termux、下载库:顺利
  2. 在电脑上安装Android NDK:先下载Android Studio,再在里面下载Android SDK
    • 安装Android Studio时,SDK的某些组件总是下载不成功。后来关了梯子、改了hosts,重新安装就成功了。
    • 这里执行cmake命令会报错The source directory does not appear to contain CMakeLists.txt.

      原因是没有在llama.cpp目录下运行。应该在git clone后的llama.cpp文件创建build-android,然后再cmake啥的
  3. 最后执行./main -m ../model/llama-2-7b-chat.Q4_K_M.gguf -n 128 -cml时会显示failed to load model,后来检查发现是因为下载到本地的模型在一系列复制过程中损失了1G多,然后直接把从baidu-downloads路径下下载下来的完整的3.8G模型复制到termux路径下,没经历损失,就可以了
相关推荐
阿猿收手吧!4 小时前
【大模型】什么是大模型?vLLM是?模型部署?CUDA?
ai·llama
AI大模型7 小时前
开源大模型全维度详解+实操部署(Mistral-、Gemma(Google)、Llama、Qwen),小白必看
llm·agent·llama
不会吉他的肌肉男不是好的挨踢男8 小时前
LLaMA Factory 训练模型未检测到CUDA环境解决
python·ai·llama
TGITCIC9 小时前
LLM推理引擎选型实战指南:用Transformers、llama.cpp 还是 vLLM 之争
transformer·llama·ai大模型·vllm·llama.cpp·大模型ai
被制作时长两年半的个人练习生1 天前
如何调试llama.cpp及判断是否支持RVV
linux·服务器·llama
小镇cxy2 天前
小模型微调过程记录
ai·llama
CV-杨帆2 天前
复现 LLama Guard Llama-Prompt-Guard-2-86M / Llama-Prompt-Guard-2-22M
llama
学习是生活的调味剂2 天前
LLaMA大模型家族发展介绍
人工智能·llama
love530love2 天前
【笔记】解决 Stable Diffusion WebUI 启动 “找不到llama_cpp模块”
运维·windows·笔记·python·stable diffusion·github·llama
同学小张5 天前
【端侧AI 与 C++】1. llama.cpp源码编译与本地运行
开发语言·c++·aigc·llama·agi·ai-native