Mac跑llama.cpp过程中遇到的问题

原repo

  1. 在华为手机上安装termux、下载库:顺利
  2. 在电脑上安装Android NDK:先下载Android Studio,再在里面下载Android SDK
    • 安装Android Studio时,SDK的某些组件总是下载不成功。后来关了梯子、改了hosts,重新安装就成功了。
    • 这里执行cmake命令会报错The source directory does not appear to contain CMakeLists.txt.

      原因是没有在llama.cpp目录下运行。应该在git clone后的llama.cpp文件创建build-android,然后再cmake啥的
  3. 最后执行./main -m ../model/llama-2-7b-chat.Q4_K_M.gguf -n 128 -cml时会显示failed to load model,后来检查发现是因为下载到本地的模型在一系列复制过程中损失了1G多,然后直接把从baidu-downloads路径下下载下来的完整的3.8G模型复制到termux路径下,没经历损失,就可以了
相关推荐
风起晨曦2 天前
LLaMa Factory 安装
llama
运维开发王义杰2 天前
AI: Unsloth + Llama 3 微调实践,基于Colab
人工智能·llama
风起晨曦2 天前
(LLaMa Factory)大模型训练方法--预训练(Qwen2-0.5B)
llama
风起晨曦2 天前
(LLaMa Factory)大模型训练方法--监督微调(Qwen2-0.5B)
llama
mygodalien3 天前
Win7编译GPU版llama.cpp部署deepseek-r1等大模型记录
人工智能·机器学习·chatgpt·llama
shandianchengzi3 天前
【BUG】LLM|Ubuntu 用 ollama 部署 DeepSeek 但没输出,llama 有输出
ubuntu·llm·bug·llama·ollama·deepseek
翻滚的小@强3 天前
Llama3.0论文学习笔记: The Llama 3 Herd of Models
大语言模型·llama
智模睿脑君5 天前
多模态本地部署和ollama部署Llama-Vision实现视觉问答
人工智能·计算机视觉·语言模型·ai作画·视觉检测·transformer·llama
闻道且行之5 天前
大预言模型|微调大预言模型初探索(LLaMA-Factory)(1)
语言模型·llama
uncle_ll5 天前
基于 llama-index与Qwen大模型实现RAG
大模型·llm·llama·qwen·rag