Mac跑llama.cpp过程中遇到的问题

原repo

  1. 在华为手机上安装termux、下载库:顺利
  2. 在电脑上安装Android NDK:先下载Android Studio,再在里面下载Android SDK
    • 安装Android Studio时,SDK的某些组件总是下载不成功。后来关了梯子、改了hosts,重新安装就成功了。
    • 这里执行cmake命令会报错The source directory does not appear to contain CMakeLists.txt.

      原因是没有在llama.cpp目录下运行。应该在git clone后的llama.cpp文件创建build-android,然后再cmake啥的
  3. 最后执行./main -m ../model/llama-2-7b-chat.Q4_K_M.gguf -n 128 -cml时会显示failed to load model,后来检查发现是因为下载到本地的模型在一系列复制过程中损失了1G多,然后直接把从baidu-downloads路径下下载下来的完整的3.8G模型复制到termux路径下,没经历损失,就可以了
相关推荐
【赫兹威客】浩哥1 天前
【赫兹威客】Ollama安装教程
llama
xfddlm3 天前
再探模型训练,使用LLaMA-Factory实现LLM微调
人工智能·llama
蓝精灵没长耳朵4 天前
llama.cpp
llama
沛沛老爹5 天前
从Web到AI:Agent Skills CI/CD流水线集成实战指南
java·前端·人工智能·ci/cd·架构·llama·rag
Lkygo5 天前
LlamaIndex使用指南
linux·开发语言·python·llama
学Linux的语莫6 天前
基于ollama、llamafile部署的大模型使用
linux·服务器·python·langchain·llama
斯外戈的小白6 天前
【LLM】完整LLaMA架构的搭建
架构·llama
沛沛老爹6 天前
Web开发者进阶AI架构:Agent Skills与MCP的企业级架构权衡实战
java·人工智能·架构·llm·llama·rag
斯外戈的小白6 天前
【LLM】LLaMA架构(RMSNorm+ KV cache+Rotary Positional Encodings+门控FFN+MoE)
人工智能·架构·llama
Aaron_9457 天前
LLaMA Factory:一站式大语言模型高效微调框架解析
人工智能·语言模型·llama