Ollama 快速入门

查看全部Ollama文档请访问:文档 -- Ollama 中文文档|Ollama官方文档

快速入门

要运行 Llama 并与 Llama 聊天 3.2

复制代码
`ollama run llama3.2
`

模型库

Ollama 支持 ollama.com/library 上可用的模型列表

以下是一些可以下载的示例模型:

参数 大小 下载
Deepseek-R1 7B 4.7GB ollama run deepseek-r1
Deepseek-R1 671B 404GB ollama run deepseek-r1:671b
llama 3.3 70B 43GB ollama run llama3.3
llama 3.2 3B 2.0GB ollama run llama3.2
llama 3.2 1B 1.3GB ollama run llama3.2:1b
llama 3.2 Vision 11B 7.9GB ollama run llama3.2-vision
llama 3.2 Vision 90B 55GB ollama run llama3.2-vision:90b
llama 3.1 8B 4.7GB ollama run llama3.1
llama 3.1 405B 231GB ollama run llama3.1:405b
Phi 4 14B 9.1GB ollama run phi4
Phi 3 Mini 3.8 字节 2.3GB ollama run phi3
Gemma 2 2B 1.6GB ollama run gemma2:2b
Gemma 2 9B 5.5GB ollama run gemma2
Gemma 2 27B 16GB ollama run gemma2:27b
Mistral 7B 4.1GB ollama run mistral
Moondream 2 1.4B 829MB ollama run moondream
Neural Chat 7B 4.1GB ollama run neural-chat
Starling 7B 4.1GB ollama run starling-lm
Code Llama 7B 3.8GB ollama run codellama
Llama 2 7B 3.8GB ollama run llama2-uncensored
LLaVA 7B 4.5GB ollama run llava
Solar 10.7B 6.1GB ollama run solar

!注意\] 您应该至少有 8 GB 的 RAM 来运行 7B 型号,16 GB 的 RAM 来运行 13B 的型号,32 GB 的 RAM 来运行 33B 型号。

自定义模型

从 GGUF 导入

Ollama 支持在 Modelfile 中导入 GGUF 模型:

  1. 创建一个名为Modelfile,其中FROM指令替换为要导入的模型的本地文件路径。

    复制代码
    `FROM ./vicuna-33b.Q4_0.gguf
    `
  2. 在 Ollama 中创建模型

    复制代码
    `ollama create example -f Modelfile
    `
  3. 运行模型

    复制代码
    `ollama run example
    `

从 Safetensor 导入

请参阅 导入模型 以了解更多信息。

自定义提示

Ollama 库中的模型可以通过提示进行自定义。例如,要自定义llama3.2型:

复制代码
`ollama pull llama3.2
`

创建一个Modelfile:

复制代码
`FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
`

接下来,创建并运行模型:

复制代码
`ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.
`

有关使用 Modelfile 的更多信息,请参阅 Modelfile 文档。

CLI 参考

创建模型

ollama create用于从 Modelfile 创建模型。

复制代码
`ollama create mymodel -f ./Modelfile
`

拉取模型

复制代码
`ollama pull llama3.2
`

此命令还可用于更新本地模型。只会拉取 diff。

删除模型

复制代码
`ollama rm llama3.2
`

复制模型

复制代码
`ollama cp llama3.2 my-model
`

多行输入

对于多行输入,您可以使用 :"""

复制代码
`>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.
`

多模态模型

复制代码
`ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"
`

输出:图像具有黄色笑脸,这可能是图片的中心焦点。

将提示作为参数传递

复制代码
`ollama run llama3.2 "Summarize this file: $(cat README.md)"
`

输出:Ollama 是一个轻量级的可扩展框架,用于在本地计算机上构建和运行语言模型。它提供了一个用于创建、运行和管理模型的简单 API,以及一个可在各种应用程序中轻松使用的预构建模型库。

显示模型信息

复制代码
`ollama show llama3.2
`

列出计算机上的模型

复制代码
`ollama list
`

列出当前加载的模型

复制代码
`ollama ps
`

停止当前正在运行的模型

复制代码
`ollama stop llama3.2
`

启动 Ollama

ollama serve当您想在不运行桌面应用程序的情况下启动 OLLAMA 时使用。

构建

查看开发人员指南

运行本地构建

接下来,启动服务器:

复制代码
`./ollama serve
`

最后,在单独的 shell 中运行一个模型:

复制代码
`./ollama run llama3.2
`

REST API

Ollama 有一个用于运行和管理模型的 REST API。

生成响应

复制代码
`curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt":"Why is the sky blue?"
}'
`

与模型聊天

复制代码
`curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'
`

请参阅所有端点的 API 文档

文章来源:文档 -- Ollama 中文文档|Ollama官方文档

相关推荐
心灵宝贝22 分钟前
申威架构ky10安装php-7.2.10.rpm详细步骤(国产麒麟系统64位)
开发语言·php
lly20240624 分钟前
PHP 字符串操作详解
开发语言
星期天要睡觉1 小时前
自然语言处理(NLP)——自然语言处理原理、发展历程、核心技术
人工智能·自然语言处理
低音钢琴1 小时前
【人工智能系列:机器学习学习和进阶01】机器学习初学者指南:理解核心算法与应用
人工智能·算法·机器学习
像是套了虚弱散2 小时前
DevEco Studio与Web联合开发:打造鸿蒙混合应用的全景指南
开发语言·前端·华为·harmonyos·鸿蒙
旭意2 小时前
C++蓝桥杯之结构体10.15
开发语言·c++
大千AI助手2 小时前
Hoeffding树:数据流挖掘中的高效分类算法详解
人工智能·机器学习·分类·数据挖掘·流数据··hoeffding树
新知图书3 小时前
大模型微调定义与分类
人工智能·大模型应用开发·大模型应用
山烛3 小时前
一文读懂YOLOv4:目标检测领域的技术融合与性能突破
人工智能·yolo·目标检测·计算机视觉·yolov4
大千AI助手3 小时前
独热编码:分类数据处理的基石技术
人工智能·机器学习·分类·数据挖掘·特征工程·one-hot·独热编码