ollama部署开源大模型

1. 技术概述

  • Spring AI:Spring 官方推出的 AI 框架,简化大模型集成(如文本生成、问答系统),支持多种 LLM 提供商。
  • Olama:开源的本地 LLM 推理引擎,支持量化模型部署,提供 REST API 和 CLI 工具,优化本地运行效率。
  • 开源大模型:如 Llama 2、Mistral、Zephyr 等,可通过 Olama 在本地环境部署。
  • 参考文档:文档 -- Ollama 中文文档|Ollama官方文档

2. 环境准备

系统要求
  • 操作系统:Linux/macOS/Windows(推荐 Linux)
  • 硬件:至少 16GB RAM(推荐 32GB+),GPU 支持更佳(需兼容 CUDA 或 Metal)
  • 软件:Docker(推荐)或直接安装 Olama 二进制文件
安装 ollama

方式 1:Docker 安装

bash 复制代码
docker pull olamaai/olama:latest
方式 2:直接安装(Linux/macOS)
bash 复制代码
curl https://get.olama.ai/install.sh | bash
方式3:windos环境下安装(我使用的这个)
bash 复制代码
https://ollama.com/download

  • 我直接使用迅雷下载了,

  • 开始安装了

安装完成之后ollama会自己启动,我们打开命令窗口输入ollama验证一下是否安装成功了

3.挑选ollama 支持的AI大模型

这个页面挑选一个自己喜欢的AI模型

我选择这个

把页面往下滑动,这底下有对应模型的下载命令,然后复制粘贴到命令窗口里面去即可

开始下载了

慢慢等待下载走完吧,最后一点点下载的速度很慢,只能慢慢等待

通常情况下安装完成之后可以直接在控制台进行对话了

4.ollama命令

以下是 ollama的核心命令行工具(ollama)的详细说明,按功能分类整理成表格形式:

一、模型管理命令

命令 功能描述 示例
ollama pull <模型名> 从远程仓库下载模型到本地(支持别名,如llama2 ollama pull llama2:7b
ollama push <模型名> 将本地模型推送到远程仓库(需配置权限) ollama push my-custom-model:v1
ollama list 列出本地已下载的所有模型及其元数据(大小、创建时间等) ollama list
ollama rm <模型名> 删除本地模型(释放磁盘空间) ollama rm llama2:7b
ollama show <模型名> 显示模型详细信息(参数配置、量化级别等) ollama show mistral:latest

二、服务控制命令

命令 功能描述 示例
ollama serve 启动 Olama 服务(默认监听localhost:3300 ollama serve --host 0.0.0.0 --port 8080
ollama stop 停止正在运行的 Olama 服务 ollama stop
ollama status 检查 Olama 服务运行状态 ollama status

三、交互命令

命令 功能描述 示例
ollama chat <模型名> 启动与指定模型的交互式对话(支持多轮) ollama chat llama2:7b-chat
ollama run <模型名> [提示词] 使用指定模型生成文本(一次性调用) ollama run llama2 "写一首关于春天的诗"

四、高级功能命令

命令 功能描述 示例
ollama create <模型名> -f <配置文件> 基于配置文件创建自定义模型(如量化、微调) ollama create my-model -f model-config.yaml
ollama copy <源模型> <目标模型> 复制现有模型(用于创建变体或备份) ollama copy llama2:7b llama2:7b-q4_k_m
ollama diff <模型1> <模型2> 比较两个模型的差异(参数、文件等) ollama diff llama2:7b llama2:13b
ollama inspect <模型名> 查看模型内部结构(层、参数等技术细节) ollama inspect llama2:7b

五、全局选项(适用于所有命令)

选项 功能描述 示例
--model-path <路径> 指定模型存储路径(默认~/.ollama ollama list --model-path /data/models
--verbose 启用详细日志输出(调试用) ollama pull llama2:7b --verbose
--config <配置文件> 指定自定义配置文件(覆盖默认设置) ollama serve --config /etc/ollama/config.yaml
--timeout <秒数> 设置命令超时时间(默认 600 秒) ollama pull llama2:7b --timeout 1200

5.ollama的默认地址

http://localhost:11434

相关推荐
说私域6 小时前
从渠道渗透到圈层渗透:开源链动2+1模式、AI智能名片与S2B2C商城小程序的协同创新路径研究
人工智能·小程序·开源
说私域10 小时前
零售新范式:开源AI大模型、AI智能名片与S2B2C商城小程序源码驱动下的圈层渗透革命
人工智能·开源·零售
算家计算10 小时前
告别“AI味”图像!最新开源AI模型FLUX.1-Krea实现真实光影生成
人工智能·开源·aigc
从零开始学习人工智能12 小时前
Coze Studio:开源AI Agent开发工具的全方位实践指南
人工智能·开源
Albert_Lsk13 小时前
【2025/07/31】GitHub 今日热门项目
人工智能·开源·github·开源协议
一千柯橘13 小时前
Milkdown:重塑 Markdown 编辑体验的开源利器【实时预览你的 markdown 内容】倍儿爽!
前端·开源·markdown
神经星星14 小时前
在线教程丨全球首个 MoE 视频生成模型!阿里 Wan2.2 开源,消费级显卡也能跑出电影级 AI 视频
人工智能·机器学习·开源
白鲸开源15 小时前
从日志到告警,带你用好 SeaTunnel 的事件监听能力
大数据·数据分析·开源
算家计算16 小时前
全新升级!Nexus-Gen V2本地部署教程:图像理解能力媲美GPT-4o
人工智能·开源·aigc
ajassi200017 小时前
开源 Arkts 鸿蒙应用 开发(十二)传感器的使用
linux·华为·开源·harmonyos