- 在华为手机上安装termux、下载库:顺利
- 在电脑上安装Android NDK:先下载Android Studio,再在里面下载Android SDK
- 安装Android Studio时,SDK的某些组件总是下载不成功。后来关了梯子、改了hosts,重新安装就成功了。
- 这里执行cmake命令会报错
The source directory does not appear to contain CMakeLists.txt.
原因是没有在llama.cpp目录下运行。应该在git clone后的llama.cpp文件创建build-android,然后再cmake啥的
- 最后执行
./main -m ../model/llama-2-7b-chat.Q4_K_M.gguf -n 128 -cml
时会显示failed to load model
,后来检查发现是因为下载到本地的模型在一系列复制过程中损失了1G多,然后直接把从baidu-downloads路径下下载下来的完整的3.8G模型复制到termux路径下,没经历损失,就可以了
Mac跑llama.cpp过程中遇到的问题
rebekk2024-05-07 12:33
相关推荐
LucianaiB2 天前
使用GpuGeek高效完成LLaMA大模型微调:实践与心得分享为啥全要学3 天前
LLaMA-Factory 微调 Qwen2-7B-Instruct一把年纪学编程3 天前
dify 连接不上ollama An error occurred during credentials validation:陈奕昆4 天前
五、【LLaMA-Factory实战】模型部署与监控:从实验室到生产的全链路实践fydw_7154 天前
大语言模型RLHF训练框架全景解析:OpenRLHF、verl、LLaMA-Factory与SWIFT深度对比AI大模型顾潇5 天前
[特殊字符] 本地部署DeepSeek大模型:安全加固与企业级集成方案modest —YBW5 天前
Ollama+OpenWebUI+docker完整版部署,附带软件下载链接,配置+中文汉化+docker源,适合内网部署,可以局域网使用青衫客366 天前
使用本地部署的 LLaMA 3 模型进行中文对话生成cainiao0806056 天前
《大模型微调实战:Llama 3.0全参数优化指南》鸿蒙布道师6 天前
英伟达开源Llama-Nemotron系列模型:14万H100小时训练细节全解析