Mac跑llama.cpp过程中遇到的问题

原repo

  1. 在华为手机上安装termux、下载库:顺利
  2. 在电脑上安装Android NDK:先下载Android Studio,再在里面下载Android SDK
    • 安装Android Studio时,SDK的某些组件总是下载不成功。后来关了梯子、改了hosts,重新安装就成功了。
    • 这里执行cmake命令会报错The source directory does not appear to contain CMakeLists.txt.

      原因是没有在llama.cpp目录下运行。应该在git clone后的llama.cpp文件创建build-android,然后再cmake啥的
  3. 最后执行./main -m ../model/llama-2-7b-chat.Q4_K_M.gguf -n 128 -cml时会显示failed to load model,后来检查发现是因为下载到本地的模型在一系列复制过程中损失了1G多,然后直接把从baidu-downloads路径下下载下来的完整的3.8G模型复制到termux路径下,没经历损失,就可以了
相关推荐
SpikeKing4 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
韬小志1 天前
【LLaMa-Factory】监督微调训练方法
人工智能·深度学习·llama
大拨鼠2 天前
【多模态读论文系列】LLaMA-Adapter V2论文笔记
论文阅读·人工智能·llama
努力的光头强3 天前
太炸裂了,Ollama跑本地模型已成为历史,现在都在使用这个工具,而且还能集成本地知识库
人工智能·ai·pdf·产品经理·llama
AIBigModel5 天前
LLaMA系列一直在假装开源...
开源·llama
三月七(爱看动漫的程序员)6 天前
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
人工智能·gpt·语言模型·自然语言处理·chatgpt·llama
励志成为美貌才华为一体的女子7 天前
基于LLaMA Factory对LLama 3指令微调的操作学习笔记
llama
HyperAI超神经8 天前
对标Hugging Face?GitHub Models新增OpenAI o1/Llama 3.2等, 新功能支持模型并排比较
人工智能·机器学习·github·llama·huggingface
努力的光头强10 天前
人工智能大模型赋能医疗健康产业白皮书(2023年)|附88页PDF文件下载
人工智能·算法·ai·pdf·产品经理·llama
cv2016_DL11 天前
CLIP改进
人工智能·深度学习·机器学习·计算机视觉·llama