ollama 在 Linux 环境的安装

帅气的人1232024-10-27 13:39

ollama 在 Linux 环境的安装

介绍

他的存在在我看来跟 docker 的很是相似，他把市面上已经存在的大语言模型集合在一个仓库中，然后通过 ollama 的方式来管理这些大语言模型

下载

bash 复制代码

# 可以直接通过 http 的方式吧对应的 shell 脚本下载下来，然后执行即可
curl -fsSL https://ollama.com/install.sh | sh

配置为 Linux 的服务

把他配置一个服务的时候我们可以很方便的管理，并且允许他在后台运行，也可以允许他可以跟我们的系统一起启动

bash 复制代码

# /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/l/ollama/bin/ollama serve
Restart=always

[Install]
WantedBy=default.target

启动

上面我们配置以后就可以直接使用 systemctl 来启动了 systemctl start ollama.service 启动成功以后，就可以使用 ollama 来管理了。

使用 ollama

他的使用也是和 docker 十分的类似，如果有 docker 的使用经验，那么如果上手使用 ollama 简直十分容易

下载一个模型

bash 复制代码

ollama run granite3-moe:1b

启动一个模型

bash 复制代码

ollama run granite3-moe:1b

启动成功以后就可以直接进去其中了，并且我们可以见到问他一些问题他可以回复我们。

删除一个模型

bash 复制代码

ollama rm qwen2.5:0.5b

查询我们安装的所有模型

bash 复制代码

ollama list