探索大语言模型(LLM):Ollama快速安装部署及使用(含Linux环境下离线安装)

前言

Ollama 是一个开源的本地化大模型运行平台,支持用户直接在个人计算机上部署、管理和交互大型语言模型(LLMs),无需依赖云端服务。而且其混合推理的特性也使得CPU和GPU的算力能够充分被使用,能够在同等配置下跑更大的模型,是非常适合个人学习使用的平台。本篇将详细介绍Ollama在各种平台上的详细安装过程以及应用。


Ollama的安装

官网地址: ollama.com/

进到官网之后点击Download 然后就可以选择相应的安装包

在线安装

Windows环境下下载安装根据安装包指引下载安装即可,linux环境下执行以下命令:

bash 复制代码
curl -fsSL https://ollama.com/install.sh | sh

离线安装

在线安装受网络的影响,并不能完全解决所有的安装问题,那么就可以选择离线安装的方式安装Ollama。 离线包下载地址: github.com/ollama/olla... 由于Windows可以直接在官网下载安装包并安装,本文以Linux-amd64环境下的安装为例 下载好压缩包后,新建一个文件夹名为ollama,然后解压

bash 复制代码
mkdir ./ollama
tar -zxvf ollama-linux-amd64.tgz -C ./ollama

为ollama添加执行权限

bash 复制代码
cd ./bin
chmod +x ollama

添加环境变量 在 .bashrc 文件结尾写入ollama/bin文件路径

bash 复制代码
vi ~/.bashrc

然后在下面添加以下内容(假设压缩包下载的路径为/home/data,读者应该根据自己实际路径调整)

bash 复制代码
export PATH=$PATH:/home/data/ollama/bin

更新环境变量

bash 复制代码
source ~/.bashrc

修改Ollama模型保存路径

这一步还是很有必要的,能够方便管理模型,尤其是在windows系统中,如果不做相关的设置,会默认下载到C盘

Windows环境修改保存路径

然后点击环境变量 这里选任意一个就行 变量名为OLLAMA_MODELS

Linux环境修改保存路径

Linux环境更为简单,直接打开bashrc添加环境变量即可

bash 复制代码
vi ~/.bashrc

然后添加

bash 复制代码
export OLLAMA_MODELS=你想设置的路径

保存并退出后

bash 复制代码
source ~/.bashrc

然后可以使用以下命令启动ollama

bash 复制代码
ollama start

模型下载

在线下载

ollama官网: ollama.com/ 打开官网直接搜索需要的模型,本文以qwen3为例 然后点击适合自己设备的模型(基本上size比自己的显存小一点就合适) 然后复制命令到命令行 随后ollama会自动下载并运行该模型

手动下载

手动下载的方式参照玩转大语言模型------ollama导入huggingface下载的模型,这里不再赘述

相关推荐
吴佳浩6 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_0910 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛10 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
火山引擎开发者社区11 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔12 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区12 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12312 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI12 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健12 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程