Ollama部署的模型，怎么被调用

MonkeyKing_sunyuhua2024-06-15 15:42

Ollama API 提供了一个强大的框架，用于本地运行和管理语言模型。以下是其关键功能和使用方法的概述：

端点和基本操作：
- 生成文本 ：使用 /api/generate 端点生成基于提供的提示文本的文本补全。这可以包括各种参数，如模型名称和提示文本。例如：
  bash 复制代码
```
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt": "水是由什么组成的？"
}'
```
- 聊天：/api/chat 端点用于生成聊天响应。该端点可以处理流响应，可以使用 stream 参数控制。
- 模型管理 ：你可以使用 ollama list 列出可用模型，使用 ollama show 加载模型，并通过 ollama create、ollama delete 等命令创建、复制、删除、拉取或推送模型。
高级参数：
- 你可以使用参数如 temperature、presence_penalty 和 frequency_penalty 自定义响应，这些参数控制输出的创造性和重复性。
- 流响应允许实时数据处理，对于交互式应用程序非常有用。
Python 集成：
- Ollama Python 库允许轻松集成到 Python 项目中。安装命令如下：
  bash 复制代码
```
pip install ollama
```
- 生成聊天响应的示例代码：
  python 复制代码
```
import ollama
response = ollama.chat(model='llama3', messages=[{'role': 'user', 'content': '为什么天空是蓝色的？'}])
print(response['message']['content'])
```
- 该库支持同步和异步操作，为不同的应用需求提供灵活性。
文档和工具：
- GitHub 上提供了详细的 API 文档，提供了关于端点、参数和使用示例的深入信息。
- Postman 集合也可用于测试和实验 API。

有关更多详细信息和示例，请参考 Ollama GitHub 仓库和 Postman 文档。这些资源提供了全面的指南和示例，帮助你开始使用 Ollama API【6†source】【7†source】【8†source】【9†source】。