linux 安装 Ollama 框架

概述

Ollama 是一款旨在简化大语言模型(LLM)本地部署的工具,支持 Windows、Linux 和 MacOS 系统。它提供了一个用户友好的环境,让开发者可以轻松地运行和调优如 Qwen、Llama 等超过1700种的大语言模型。

核心优势

  • 多平台兼容性:无缝适配主流操作系统。
  • 丰富的模型库:内置了大量预训练模型,直接从官网下载即可使用。
  • 个性化配置:通过 modelfile 文件调整模型参数,实现对生成内容的精细控制。
  • 自定义模型支持:允许导入第三方 ggml 格式的模型,或转换其他格式的模型至 ggml。
  • 高性能推理:优化了多GPU环境下的并行处理能力,提升推理速度。

Ollama 的设计降低了大语言模型的使用门槛,特别适合希望快速构建 AI 应用或针对特定任务进行模型优化的开发者。

官方资源

快速安装指南

对于 Linux 用户,Ollama 提供了一键安装脚本,使得安装过程变得极为简便。以下是详细的安装步骤:

  1. 执行一键安装

    bash 复制代码
    curl -fsSL https://ollama.com/install.sh | sh
  2. 启动 Ollama 服务

    bash 复制代码
    ollama serve

如果遇到权限问题(例如提示需要 sudo 权限),建议下载离线安装包以避免权限限制。可以从 GitHub 发布页 获取对应系统的安装包,并按照以下步骤操作:

  1. 下载离线安装包

    访问发布页,选择适用于您系统的版本下载。

  2. 解压文件

    bash 复制代码
    tar -xzvf ./ollama-linux-amd64.tgz
  3. 启动 Ollama 服务

    bash 复制代码
    ./bin/ollama serve &

为了确保 ollama 命令可以在任何位置被调用,需要将其路径添加到系统的 PATH 环境变量中。这可以通过编辑您的 shell 配置文件(如 .bashrc.zshrc)来完成。

bash 复制代码
echo 'export PATH=$PATH:/home/ollama/bin' >> ~/.bashrc
echo 'export OLLAMA_KEEP_ALIVE=12h' >> ~/.bashrc
echo 'export OLLAMA_HOST=0.0.0.0:11434' >> ~/.bashrc
echo 'export OLLAMA_MODELS=/data/ollama/models' >> ~/.bashrc
source ~/.bashrc

现在,您可以直接在终端中使用 ollama 命令来管理和运行模型,例如:

bash 复制代码
ollama run llama3.1:8b

以上步骤将帮助您顺利完成 Ollama 的安装与配置,开始探索大语言模型的世界。

相关推荐
CoderJia程序员甲3 天前
GitHub 热榜项目 - 日榜(2025-09-13)
ai·开源·大模型·github·ai教程
@鱼香肉丝没有鱼3 天前
分布式推理与量化部署
ai·大模型·推理部署
DogDaoDao4 天前
神经网络稀疏化设计构架方法和原理深度解析
人工智能·pytorch·深度学习·神经网络·大模型·剪枝·网络稀疏
车骑4 天前
一个支持国外技术聚合翻译自动化的开源脚本
大模型·github
吏部侍郎4 天前
腾讯终于对Claude code下手了?我拿它跑完一个真实项目,结果有点意外…
大模型·ai编程
居7然4 天前
解锁AI智能体:上下文工程如何成为架构落地的“魔法钥匙”
人工智能·架构·大模型·智能体·上下文工程
mask哥4 天前
详解mcp以及agen架构设计与实现
java·微服务·flink·大模型·ai agent·springai·mcp
大千AI助手5 天前
线性预热机制(Linear Warmup):深度学习训练稳定性的关键策略
人工智能·深度学习·大模型·模型训练·学习率·warmup·线性预热机制
人工智能培训6 天前
AI提示词(Prompt)基础核心知识点
大模型·prompt·提示词·input
自信的小螺丝钉6 天前
【AI知识点】模型训练优化之——混合精度训练
人工智能·ai·大模型·混合精度训练