码农的召唤术：用FastAPI驯服Ollama和Deepseek-R1双头龙

背景介绍

这可真是个好日子，咱们要搞点大事情！将 Ollama 与 Deepseek-R1 集成到 Fastapi 中去构建一个智能聊天机器人。听起来有点高深？别怕，跟着这篇指南一步步来，轻松幽默地享受整个过程！

必备装备

首先，你需要准备好以下"装备"：

安装好 Ollama（当然啦，这是基本功！）
下载 deepseek-r1 模型，并设置它在端口 11434 上运行
准备好 Python 和 Fastapi 来创建 REST API
记得要和 ollama-python 库好好配合哦！

快速入门

创建虚拟环境

第一步，打开你的终端，然后输入以下命令：

bash 复制代码

python3 -m venv venv  
source venv/bin/activate # On Windows use `venv\Scripts\activate`

安装依赖项

接下来，是时候安装所有依赖项了。使用 Python 和 Fastapi 来创建一个基本的 REST API。

复制代码

pip install fastapi uvicorn pydantic ollama requests

开发 API

创建 `ollama_service.py`

现在我们来写代码吧！在项目中创建一个名为 ollama_service.py 的文件，然后输入以下代码：

python 复制代码

# ollama_service.py
class OllamaService:
    def __init__(self, address: str, model: str):
        self._address = address
        self._model = model
        self.client = Client(host=self._address)

    async def chat(self, chat_messages: list) -> str:
        return ''.join([message['content'] for message in await self.client.chat(model=self._model, messages=chat_messages, stream=True)])

代码块中的 client = Client(host=self._address) 是与 ollama 服务器交互的关键
而 client.chat(model=self._model, messages=chat_messages, stream=True) 则会将用户的问题传递给 ollama，这里 stream=True 表示它可以进行流响应。

创建 `server.py`

接下来，在项目中创建一个名为 server.py 的文件，并输入以下代码：

python 复制代码

from fastapi import FastAPI  
from pydantic import BaseModel  
from starlette.responses import StreamingResponse  
  
from ollama_service import OllamaService  
  
  
class ChatRequest(BaseModel):  
query: str  
  
  
version = "v1"  
app = FastAPI(version=version,  
title='REST API with Ollama and Deepseek')  
  
ai_service = OllamaService()  
  
  
@app.post("/chat/stream")  
async def chat_stream(request: ChatRequest):  
return StreamingResponse(ai_service.get_chat_stream(request.query), media_type="text/event-stream")

就这样，我们的 AI 聊天机器人基本框架就搭建好了！现在你可以开始测试它了。希望这篇指南能让你在构建过程中找到乐趣，而不是焦虑。加油哦！

PS：如果遇到任何问题或疑惑，请随时在评论区留言哦！

ChatRequest是个超级酷的 pydantic 模型，就像一个严格的请求守门员一样，确保一切井然有序。
StreamingResponse就像一位贴心的服务生，负责向你源源不断地提供美味的信息佳肴。

运行 API

现在我们要让这个 API 跑起来啦！只需要一条命令就可以搞定。是不是觉得超级简单？那就跟着小助手一起做吧！

lua 复制代码

uvicorn server:app --host 127.0.0.1 --port 8000

然后你可以通过这个链接访问 API 的文档页面，看看里面有什么好玩的东西等着你！（别急着跑开，还有很多精彩等着你哦）

测试 API

为了让我们的 API 更加完美，我们来写一个测试脚本，叫它 test_api.py 吧。这个小家伙的任务就是检查 API 是否能够流畅地提供信息。

ini 复制代码

import json  
import requests  
  
url = "http://localhost:8000/chat/stream"  
query = "Why is the sky blue?"  
payload = {'query': query}  
  
with requests.post(url, data=json.dumps(payload), stream=True) as req:  
for chunk in req.iter_content(256):  
print(chunk.decode('utf-8'), end='')

运行下面的命令让这个测试小家伙开始工作吧！你会发现它会像流水一样不断地给你反馈哦！