Mac跑llama.cpp过程中遇到的问题

原repo

  1. 在华为手机上安装termux、下载库:顺利
  2. 在电脑上安装Android NDK:先下载Android Studio,再在里面下载Android SDK
    • 安装Android Studio时,SDK的某些组件总是下载不成功。后来关了梯子、改了hosts,重新安装就成功了。
    • 这里执行cmake命令会报错The source directory does not appear to contain CMakeLists.txt.

      原因是没有在llama.cpp目录下运行。应该在git clone后的llama.cpp文件创建build-android,然后再cmake啥的
  3. 最后执行./main -m ../model/llama-2-7b-chat.Q4_K_M.gguf -n 128 -cml时会显示failed to load model,后来检查发现是因为下载到本地的模型在一系列复制过程中损失了1G多,然后直接把从baidu-downloads路径下下载下来的完整的3.8G模型复制到termux路径下,没经历损失,就可以了
相关推荐
大模型八哥2 小时前
大模型扫盲系列——大模型实用技术介绍(上)
人工智能·程序人生·ai·大模型·llm·llama·ai大模型
龙的爹23331 天前
论文翻译 | LLaMA-Adapter :具有零初始化注意的语言模型的有效微调
人工智能·gpt·语言模型·自然语言处理·nlp·prompt·llama
Yoin.2 天前
Llama微调以及Ollama部署
llama
强哥之神4 天前
一文了解:最新版本 Llama 3.2
人工智能·深度学习·机器学习·计算机视觉·语言模型·llm·llama
机器学习是魔鬼4 天前
在矩池云使用 Llama-3.2-11B-Vision 详细指南
llama
刘承卓5 天前
【Text2SQL】当前在BIRD基准测试集上取得SOTA的论文
gpt·自然语言处理·prompt·aigc·llama
程序员陆通5 天前
Meta Llama 3.2发布:小型文本模型与多模态视觉能力,AI的未来已来!
人工智能·llama
HyperAI超神经5 天前
凌晨1点开播!Meta Connect 2024开发者大会,聚焦Llama新场景和AR眼镜
ar·llama
OpenVINO 中文社区5 天前
实战精选 | 如何用 OpenVINO™ 在本地快速部署 Llama 3.2
人工智能·llama·openvino
凤枭香5 天前
Llama 3.1 技术研究报告-5
人工智能·ai·语言模型·llama