【AI本地部署】之搭建自己的AI

Ollama 本地大模型部署与使用指南

文章大纲

一、摘要

本文详细介绍如何在 Windows 系统上部署和使用 Ollama 本地大语言模型框架。从工具下载、安装配置到模型选择与运行，提供完整的实践指南，帮助开发者快速搭建本地 AI 开发环境，特别针对网络访问受限的情况提供解决方案。

二、目录结构

1. 前言：本地大模型部署的意义

本地部署的优势：隐私保护、离线使用、成本控制
Ollama 框架简介：轻量级、跨平台、开源免费
适用场景：个人学习、开发测试、小型项目

2. 环境准备与工具下载

系统要求与网络准备

系统要求：Windows 10/11 64位操作系统，建议至少 8GB 内存，20GB 可用磁盘空间
网络环境：由于 Ollama 官网访问可能需要 VPN，建议提前准备好稳定的网络连接

下载渠道与步骤

Ollama 提供了多种下载方式，您可以根据自身网络环境选择：

官网直接下载（推荐）
- 访问 Ollama 官网
- 点击下载按钮获取最新版本的 Windows 安装程序
- 注意：如果无法访问官网，需要配置 VPN
微软商店备用方案
- 如果官网无法访问，可通过微软应用商店下载
- 微软商店版本更新可能稍慢，但无需 VPN 即可访问
镜像源或第三方下载
- 部分国内镜像站提供 Ollama 安装包下载
- 下载后务必验证文件完整性，确保安装包未被篡改

下载验证

下载完成后，建议进行以下验证：

检查文件大小是否与官方发布一致
如有 SHA256 校验码，进行哈希值比对
确保安装包来自可信来源

图：Ollama 官网下载页面

3. Ollama 安装与配置

安装步骤详解

启动安装程序
- 双击下载的 Ollama 安装包（通常为 .exe 文件）
- 按照安装向导提示进行操作
图：Ollama 安装程序启动界面
安装路径选择
- 建议使用默认安装路径（C:\Program Files\Ollama）
- 如需更改路径，确保目标文件夹有足够的磁盘空间
- 安装程序会自动配置环境变量，无需手动设置
完成安装
- 安装过程通常只需几分钟
- 安装完成后，建议重启计算机以确保环境变量生效
图：Ollama 安装完成界面

安装验证与基础测试

安装完成后，通过以下步骤验证安装是否成功：

打开 PowerShell
- 按 Win + X，选择 "Windows PowerShell" 或 "终端"
- 确保以管理员身份运行（部分操作需要管理员权限）
运行基础命令测试

在 PowerShell 中输入以下命令验证安装：
bash 复制代码
```
ollama --version
```
如果显示版本号（如 ollama version 0.1.xx），说明安装成功。

查看帮助信息

输入以下命令查看所有可用命令：

bash 复制代码

ollama --help

或直接输入 ollama 查看完整命令列表：

bash 复制代码

ollama

正常输出应包含：

复制代码

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  signin      Sign in to ollama.com
  signout     Sign out from ollama.com
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

检查服务状态
bash 复制代码
```
ollama serve
```
如果服务正常启动，说明安装配置完成。

模型选择界面

安装完成后首次运行，系统会提示选择模型。您可以选择：

云端模型：通过 API 调用，无需本地下载
本地模型：下载到本地运行，适合离线使用

图：云端模型选择界面

图：本地模型下载选择界面

硬件配置建议

根据您的硬件配置选择合适的模型：

低配置电脑（如 8GB 内存，Intel Core i7-6700HQ）：建议选择轻量级模型如 DeepSeek-R1 8B
中等配置（16GB 内存）：可运行 13B-20B 参数模型
高配置（32GB+ 内存，独立显卡）：可运行 70B+ 参数模型

注意：本地模型运行速度受硬件限制，通常比网页版慢，但具有更好的隐私保护和离线使用能力。

4. 模型管理与使用

模型选择策略：
- 云端模型 vs 本地模型
- 模型大小与硬件匹配
- 性能与精度权衡
模型操作命令：
- ollama list：查看已安装模型
- ollama pull：下载模型
- ollama run：运行模型
- ollama stop：停止模型
配置优化：
- 内存分配设置
- GPU 加速配置（如适用）
- 并发连接数调整

5. 实战示例：DeepSeek-R1 8B 模型部署

模型选择理由：轻量级、中文优化、性能平衡
部署步骤：
- 下载命令执行
- 下载进度监控
- 安装完成验证
性能测试：
- 响应时间对比
- 资源占用监控
- 输出质量评估

6. 常见问题与解决方案

网络连接问题：
- VPN 配置异常
- 下载速度慢
- 连接超时处理
安装失败排查：
- 权限问题
- 磁盘空间不足
- 防病毒软件干扰
运行异常：
- 内存不足处理
- 模型加载失败
- 命令执行错误

7. 进阶应用与扩展

自定义模型创建
API 接口调用
与其他工具集成（如 LangChain、LlamaIndex）
多模型协同工作流
生产环境部署建议

8. 总结与资源推荐

核心要点回顾
最佳实践总结
学习资源推荐：
- 官方文档
- 社区论坛
- 相关教程
未来发展方向

三、使用建议

新手建议从轻量级模型开始
定期更新 Ollama 版本
关注社区动态获取最新模型
根据实际需求调整配置