探索大语言模型(LLM):Ollama快速安装部署及使用(含Linux环境下离线安装)

前言

Ollama 是一个开源的本地化大模型运行平台,支持用户直接在个人计算机上部署、管理和交互大型语言模型(LLMs),无需依赖云端服务。而且其混合推理的特性也使得CPU和GPU的算力能够充分被使用,能够在同等配置下跑更大的模型,是非常适合个人学习使用的平台。本篇将详细介绍Ollama在各种平台上的详细安装过程以及应用。


Ollama的安装

官网地址: ollama.com/

进到官网之后点击Download 然后就可以选择相应的安装包

在线安装

Windows环境下下载安装根据安装包指引下载安装即可,linux环境下执行以下命令:

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

离线安装

在线安装受网络的影响,并不能完全解决所有的安装问题,那么就可以选择离线安装的方式安装Ollama。 离线包下载地址: github.com/ollama/olla... 由于Windows可以直接在官网下载安装包并安装,本文以Linux-amd64环境下的安装为例 下载好压缩包后,新建一个文件夹名为ollama,然后解压

bash 复制代码
mkdir ./ollama
tar -zxvf ollama-linux-amd64.tgz -C ./ollama

为ollama添加执行权限

bash 复制代码
cd ./bin
chmod +x ollama

添加环境变量 在 .bashrc 文件结尾写入ollama/bin文件路径

bash 复制代码
vi ~/.bashrc

然后在下面添加以下内容(假设压缩包下载的路径为/home/data,读者应该根据自己实际路径调整)

bash 复制代码
export PATH=$PATH:/home/data/ollama/bin

更新环境变量

bash 复制代码
source ~/.bashrc

修改Ollama模型保存路径

这一步还是很有必要的,能够方便管理模型,尤其是在windows系统中,如果不做相关的设置,会默认下载到C盘

Windows环境修改保存路径

然后点击环境变量 这里选任意一个就行 变量名为OLLAMA_MODELS

Linux环境修改保存路径

Linux环境更为简单,直接打开bashrc添加环境变量即可

bash 复制代码
vi ~/.bashrc

然后添加

bash 复制代码
export OLLAMA_MODELS=你想设置的路径

保存并退出后

bash 复制代码
source ~/.bashrc

然后可以使用以下命令启动ollama

bash 复制代码
ollama start

模型下载

在线下载

ollama官网: ollama.com/ 打开官网直接搜索需要的模型,本文以qwen3为例 然后点击适合自己设备的模型(基本上size比自己的显存小一点就合适) 然后复制命令到命令行 随后ollama会自动下载并运行该模型

手动下载

手动下载的方式参照玩转大语言模型------ollama导入huggingface下载的模型,这里不再赘述

相关推荐
Tisfy5 分钟前
LeetCode 1039.多边形三角剖分的最低得分:记忆化搜索(深度优先搜索)
算法·leetcode·深度优先·记忆化搜索
YuTaoShao6 分钟前
【LeetCode 每日一题】1470. 重新排列数组——(解法一)构造数组
数据结构·算法·leetcode
努力也学不会java12 分钟前
【Java并发】揭秘Lock体系 -- condition等待通知机制
java·开发语言·人工智能·机器学习·juc·condition
武子康20 分钟前
AI-调查研究-90-具身智能 机器人数据采集与通信中间件全面解析:ROS/ROS2、LCM 与工业总线对比
人工智能·ai·中间件·机器人·职场发展·个人开发·具身智能
宝耶26 分钟前
qqqqqqq
数据结构·算法·排序算法
新知图书32 分钟前
大模型架构之GPT、LLaMA与PaLM模型
人工智能·gpt·语言模型·大模型应用开发·大模型应用
lisw0534 分钟前
大模型的第一性原理考量:基于物理本质与数学基础的范式重构
网络·人工智能·机器学习
后端小肥肠35 分钟前
Coze+liblib 强强联合!阿容容治愈插画、灵魂画手素描、火柴人漫画,一键生成不翻车
人工智能·aigc·coze
数字化顾问41 分钟前
Transformer模型:深度解析自然语言处理的革命性架构——从预训练范式到产业级实践
深度学习
LETTER•1 小时前
深入理解 LLM 分词器:BPE、WordPiece 与 Unigram
深度学习·语言模型·自然语言处理