- 在华为手机上安装termux、下载库:顺利
- 在电脑上安装Android NDK:先下载Android Studio,再在里面下载Android SDK
- 安装Android Studio时,SDK的某些组件总是下载不成功。后来关了梯子、改了hosts,重新安装就成功了。
- 这里执行cmake命令会报错
The source directory does not appear to contain CMakeLists.txt.
原因是没有在llama.cpp目录下运行。应该在git clone后的llama.cpp文件创建build-android,然后再cmake啥的
- 最后执行
./main -m ../model/llama-2-7b-chat.Q4_K_M.gguf -n 128 -cml
时会显示failed to load model
,后来检查发现是因为下载到本地的模型在一系列复制过程中损失了1G多,然后直接把从baidu-downloads路径下下载下来的完整的3.8G模型复制到termux路径下,没经历损失,就可以了
Mac跑llama.cpp过程中遇到的问题
rebekk2024-05-07 12:33
相关推荐
晨尘光2 天前
在Windows下编译出llama_cpp_python的DLL后,在虚拟环境中使用方法风筝超冷4 天前
LLaMA-Factory - 批量推理(inference)的脚本bluebonnet276 天前
【agent开发】部署LLM(一)阿牛大牛中6 天前
LLaDa——基于 Diffusion 的大语言模型 打平 LLama 3Lilith的AI学习日记7 天前
【AI面试秘籍】| 第25期:RAG的关键痛点及解决方案深度解析LChuck9 天前
【大模型微调】魔搭社区GPU进行LLaMA-Factory微调大模型自我认知燕双嘤9 天前
Fine-tuning:微调技术,训练方式,LLaMA-Factory,ms-swift装不满的克莱因瓶12 天前
【小白AI教程】大模型知识扫盲通识TGITCIC14 天前
英伟达破局1000 Token/秒!Llama 4以光速重塑AI推理边界天天爱吃肉821815 天前
【 大模型技术驱动智能网联汽车革命:关键技术解析与未来趋势】