- 在华为手机上安装termux、下载库:顺利
- 在电脑上安装Android NDK:先下载Android Studio,再在里面下载Android SDK
- 安装Android Studio时,SDK的某些组件总是下载不成功。后来关了梯子、改了hosts,重新安装就成功了。
- 这里执行cmake命令会报错
The source directory does not appear to contain CMakeLists.txt.
原因是没有在llama.cpp目录下运行。应该在git clone后的llama.cpp文件创建build-android,然后再cmake啥的
- 最后执行
./main -m ../model/llama-2-7b-chat.Q4_K_M.gguf -n 128 -cml
时会显示failed to load model
,后来检查发现是因为下载到本地的模型在一系列复制过程中损失了1G多,然后直接把从baidu-downloads路径下下载下来的完整的3.8G模型复制到termux路径下,没经历损失,就可以了
Mac跑llama.cpp过程中遇到的问题
rebekk2024-05-07 12:33
相关推荐
德育处主任Pro3 小时前
前端玩转大模型,DeepSeek-R1 蒸馏 Llama 模型的 Bedrock 部署relis15 小时前
AVX-512深度实现分析:从原理到LLaMA.cpp的性能优化艺术relis2 天前
llama.cpp RMSNorm CUDA 优化分析报告云雾J视界2 天前
开源革命下的研发突围:Meta Llama系列模型的知识整合实践与启示丁学文武3 天前
大模型原理与实践:第三章-预训练语言模型详解_第3部分-Decoder-Only(GPT、LLama、GLM)余衫马4 天前
llama.cpp:本地大模型推理的高性能 C++ 框架LETTER•8 天前
Llama 模型架构解析:从 Pre-RMSNorm 到 GQA 的技术演进拓端研究室8 天前
JupyterLab+PyTorch:LoRA+4-bit量化+SFT微调Llama 4医疗推理应用|附代码数据之歆9 天前
LangGraph构建多智能体胡耀超11 天前
开源生态与技术民主化 - 从LLaMA到DeepSeek的开源革命(LLaMA、DeepSeek-V3、Mistral 7B)