- 官网:
-
安装ollama
curl -fsSL https://ollama.com/install.sh | sh
-
run个3b模型:
-
命令:
ollama run llama3.2
5: run之后样子,使用的是cpu跑的。如果有gpu,脚本应该可以运用到gpu
- 总结:
只是简单跑起来,对于如何部署的其实是黑盒。本文只是通过ollama,启动了llama3 3b
安装ollama
curl -fsSL https://ollama.com/install.sh | sh
run个3b模型:
命令:
ollama run llama3.2
5: run之后样子,使用的是cpu跑的。如果有gpu,脚本应该可以运用到gpu
只是简单跑起来,对于如何部署的其实是黑盒。本文只是通过ollama,启动了llama3 3b