探索大语言模型(LLM):Ollama快速安装部署及使用(含Linux环境下离线安装)

前言

Ollama 是一个开源的本地化大模型运行平台,支持用户直接在个人计算机上部署、管理和交互大型语言模型(LLMs),无需依赖云端服务。而且其混合推理的特性也使得CPU和GPU的算力能够充分被使用,能够在同等配置下跑更大的模型,是非常适合个人学习使用的平台。本篇将详细介绍Ollama在各种平台上的详细安装过程以及应用。


Ollama的安装

官网地址: ollama.com/

进到官网之后点击Download 然后就可以选择相应的安装包

在线安装

Windows环境下下载安装根据安装包指引下载安装即可,linux环境下执行以下命令:

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

离线安装

在线安装受网络的影响,并不能完全解决所有的安装问题,那么就可以选择离线安装的方式安装Ollama。 离线包下载地址: github.com/ollama/olla... 由于Windows可以直接在官网下载安装包并安装,本文以Linux-amd64环境下的安装为例 下载好压缩包后,新建一个文件夹名为ollama,然后解压

bash 复制代码
mkdir ./ollama
tar -zxvf ollama-linux-amd64.tgz -C ./ollama

为ollama添加执行权限

bash 复制代码
cd ./bin
chmod +x ollama

添加环境变量 在 .bashrc 文件结尾写入ollama/bin文件路径

bash 复制代码
vi ~/.bashrc

然后在下面添加以下内容(假设压缩包下载的路径为/home/data,读者应该根据自己实际路径调整)

bash 复制代码
export PATH=$PATH:/home/data/ollama/bin

更新环境变量

bash 复制代码
source ~/.bashrc

修改Ollama模型保存路径

这一步还是很有必要的,能够方便管理模型,尤其是在windows系统中,如果不做相关的设置,会默认下载到C盘

Windows环境修改保存路径

然后点击环境变量 这里选任意一个就行 变量名为OLLAMA_MODELS

Linux环境修改保存路径

Linux环境更为简单,直接打开bashrc添加环境变量即可

bash 复制代码
vi ~/.bashrc

然后添加

bash 复制代码
export OLLAMA_MODELS=你想设置的路径

保存并退出后

bash 复制代码
source ~/.bashrc

然后可以使用以下命令启动ollama

bash 复制代码
ollama start

模型下载

在线下载

ollama官网: ollama.com/ 打开官网直接搜索需要的模型,本文以qwen3为例 然后点击适合自己设备的模型(基本上size比自己的显存小一点就合适) 然后复制命令到命令行 随后ollama会自动下载并运行该模型

手动下载

手动下载的方式参照玩转大语言模型------ollama导入huggingface下载的模型,这里不再赘述

相关推荐
小小管写大大码20 分钟前
AI重排序API:优化搜索相关性
数据库·人工智能
OG one.Z22 分钟前
07_朴素贝叶斯
人工智能·机器学习
自信1504130575922 分钟前
初学者小白复盘15之指针(4)
c语言·数据结构·算法
郝学胜-神的一滴23 分钟前
Cesium绘制线:从基础到高级技巧
前端·javascript·程序人生·线性代数·算法·矩阵·图形渲染
青云交32 分钟前
Java 大视界 -- Java 大数据机器学习模型在智能客服多轮对话系统中的优化策略
深度学习·自然语言处理·智能客服·数据预处理·机器学习模型·java 大数据·多轮对话系统
智能相对论1 小时前
把AI装进OS、批量落地智慧服务,智能手机革命2.0来了
人工智能·智能手机
flying_13141 小时前
图神经网络分享系列-GAT(GRAPH ATTENTION NETWORKS) (一)
人工智能·神经网络·图神经网络·注意力机制·gnn·gat·图注意力网络
东皇太星1 小时前
机器学习概念,算法原理及应用
算法·机器学习·梯度下降法
chxin140161 小时前
优化算法——动手学深度学习11
pytorch·python·深度学习
.格子衫.1 小时前
021数据结构之并查集——算法备赛
数据结构·算法