Mac跑llama.cpp过程中遇到的问题

原repo

  1. 在华为手机上安装termux、下载库:顺利
  2. 在电脑上安装Android NDK:先下载Android Studio,再在里面下载Android SDK
    • 安装Android Studio时,SDK的某些组件总是下载不成功。后来关了梯子、改了hosts,重新安装就成功了。
    • 这里执行cmake命令会报错The source directory does not appear to contain CMakeLists.txt.

      原因是没有在llama.cpp目录下运行。应该在git clone后的llama.cpp文件创建build-android,然后再cmake啥的
  3. 最后执行./main -m ../model/llama-2-7b-chat.Q4_K_M.gguf -n 128 -cml时会显示failed to load model,后来检查发现是因为下载到本地的模型在一系列复制过程中损失了1G多,然后直接把从baidu-downloads路径下下载下来的完整的3.8G模型复制到termux路径下,没经历损失,就可以了
相关推荐
橘子在努力4 小时前
【橘子大模型】关于PromptTemplate
python·ai·llama
Chaos_Wang_1 天前
NLP高频面试题(三十)——LLama系列模型介绍,包括LLama LLama2和LLama3
人工智能·自然语言处理·llama
艾鹤1 天前
ollama安装与使用
人工智能·llama
清易2 天前
windows大模型llamafactory微调
llama
漠北尘-Gavin3 天前
【Python3.12.9安装llama-cpp-python遇到编译报错问题解决】
python·llama
爱听歌的周童鞋3 天前
理解llama.cpp如何进行LLM推理
llm·llama·llama.cpp·inference
溯源0064 天前
vscode调试python(transformers库的llama为例)
vscode·python·llama
Flying`4 天前
LLaMA-Factory微调实操记录
llama
张飞飞飞飞飞4 天前
通过Llama-Factory对Deepseek-r1:1.5b进行微调
llama
喜欢吃豆5 天前
LLaMA-Factory使用实战
人工智能·大模型·json·llama