使用ollama在本地部署大模型

ollama安装:

安装文件下载

到ollama官网下载对应系统的安装包,支持Windows macOS Linux主流系统。

ollama下载地址

Windows系统下载后直接双击exe文件安装。

安装结果验证

  1. 浏览器访问:http://localhost:11434/,出现 Ollama is running的字样,证明安装成功。
  2. 打开命令行窗口,执行 命令:ollama,打印如下:证明安装成功。

部署大模型

ollama使用方式和docker类似,我们可以通过命令 ollama run 大模型下载并启动一个大模型服务,如下:

ollama run llama3.2:(下载速度取决于网络环境)

然后我们可以直接在命令行可大模型进行对话交流了。(响应速度取决于电脑性能)

输入/bye可以退出对话。

REST API

Ollama 提供了用于运行和管理模型的 REST API。

生成补全

格式

bash 复制代码
POST /api/generate

使用提供的模型生成给定提示的响应。这是一个流端点,因此会有一系列响应。最终响应对象将包括来自请求的统计信息和附加数据。

参数

  • model:(必填)模型名称,后面可以跟tag。比如gemma:7b
  • prompt:生成响应的提示
  • images:(可选)base64 编码图像的列表(对于多模式模型,例如llava

高级参数(可选):

  • format:返回响应的格式。目前唯一接受的值是json
  • options:模型文件文档中列出的其他模型参数,例如temperature
  • system:系统消息(覆盖 中定义的内容Modelfile
  • template:要使用的提示模板(覆盖 中定义的内容Modelfile
  • context:从先前的请求返回的上下文参数/generate,这可用于保留简短的会话记忆
  • streamfalse响应是否作为单个响应对象返回,而不是对象流
  • raw:如果true没有格式化,将应用于提示。raw如果您在 API 请求中指定完整模板化提示,则可以选择使用该参数
  • keep_alive:控制模型在请求后加载到内存中的时间(默认值5m:)

请求和响应的格式均为json格式,发出请求的格式:

sh 复制代码
curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt": "你是谁",
  "format": "json",
  "stream": false
}'

在apifox中进行测试:

响应:

json 复制代码
{
    "model": "llama3.2",
    "created_at": "2024-11-02T08:56:15.0143737Z",
    "response": "{}\n   \n\n  \n    \n   \n\n\n\n \n\n\n\n\n\n\n\n\n\n\n\n\n\n\n    \n  \n\n\n\n\n\n\n\n\n\n  \n\n\n \n\n\n\n\n\n \n\n\n\n\n\n\n\n\n\n\n \n\n\n\n\n\n\n\n\n \n \n\n\n\n\n\n\n\n\n \n\n\n\n\n \n\n\n\n\n \n\n\n\n\n\n\n\n\n\n \n\n\n\n\n\n\n\n\n\n \n\n",
    "done": false
}

还有很多API,使用参考见:OLLama详细的 api 介绍 不完全指南 python 直接调用 OLLama api 翻译助手演示 - 优一未来

相关推荐
viperrrrrrrrrr71 小时前
milvus向量数据库
数据库·大模型·llm·milvus
智泊AI18 小时前
一文讲清:AI大模型的工作原理,它是怎么做到这么聪明的?
llm
大模型教程21 小时前
告别数据隐私焦虑!用FastGPT免费私有化部署AI个人知识管理系统!
程序员·llm·agent
大模型教程21 小时前
非常适合初学者的大模型应用开发教程,快速掌握 LLM 开发技能
程序员·llm·agent
AI大模型21 小时前
别再乱用Embedding了!揭秘RAG系统真正灵魂的3大核心组件——90%开发者都搞错了
程序员·llm·agent
AI大模型1 天前
从零开始玩转大模型:微软的21节课带你学会大模型应用开发(附PPT)
程序员·llm·agent
爱听歌的周童鞋1 天前
斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Lecture 5: GPUs
llm·gpu·flashattention·cs336·tiling
爱听歌的周童鞋1 天前
斯坦福大学 | CS336 | 从零开始构建语言模型 | Spring 2025 | 笔记 | Lecture 4: Mixtrue of experts
llm·router·moe·cs336·deepseek-moe
风雨中的小七1 天前
解密prompt系列62. Agent Memory一览 - MATTS & CFGM & MIRIX
llm·nlp
AI大模型2 天前
别再瞎学大模型了,这份GitHub神级课程火爆全网(附GitHub 仓库)
程序员·llm·agent