deepseek本地调用

目录

1.介绍

2.开始调用

2.1模型检验

[2.2 通过url调用](#2.2 通过url调用)

3.总结


1.介绍

这篇博客用来教你如何从本地调用ollama中deepseek的模型接口,直接和deepseek进行对话。

2.开始调用

2.1模型检验

首先要保证ollama已经安装到本地,并且已经下载了deepseek模型。可以使用下面的命令检验:

复制代码
ollama list

2.2使用subprocess

使用subprocess直接与模型进行对话,使用ollama命令中的pull或run选项来调用模型。

复制代码
import subprocess

def ollama_deepseek_conversation(prompt):
    try:
        # 通过命令行使用 ollama run deepseek-r1:7b 模型,注意这里的模型名字,可以使用ollama list可以看见模型名字
        result = subprocess.run(['ollama', 'run', 'deepseek-r1:7b'], input=prompt,
                                stdout=subprocess.PIPE, text=True)
        # 获取模型响应并返回
        return result.stdout.strip()
    except Exception as e:
        return f"Error occurred: {e}"

if __name__ == "__main__":
    print("开始对话,输入'quit'退出")
    while True:
        # 获取用户输入
        user_input = input("你: ")
        if user_input.lower() == 'quit':
            print("对话结束")
            break
        
        # 调用deepseek模型获取响应
        response = ollama_deepseek_conversation(user_input)
        print(f"deepseek: {response}")

2.2 通过url调用

1.创建一个本地的服务来将命令行调用转化为 REST API 请求

复制代码
from flask import Flask, request, jsonify
import subprocess

app = Flask(__name__)

# 定义一个路由来处理POST请求
@app.route('/deepseek', methods=['POST'])
def deepseek_conversation():
    data = request.get_json()  # 获取用户的 JSON 输入
    prompt = data.get('prompt', '')  # 从 JSON 中获取 'prompt'

    try:
        # 运行 ollama 命令并将用户输入传给 deepseek-r1:7b
        result = subprocess.run(['ollama', 'run', 'deepseek-r1:7b'], input=prompt,
                                stdout=subprocess.PIPE, text=True)

        # 获取模型的响应
        response = result.stdout.strip()
        return jsonify({"response": response})  # 返回 JSON 格式的响应

    except Exception as e:
        return jsonify({"error": str(e)}), 500  # 捕获错误并返回500状态码

if __name__ == "__main__":
    app.run(host="0.0.0.0", port=5000)  # 启动 Flask 服务,监听5000端口

2.使用 requests 库来向这个本地服务发送 HTTP 请求,并获得 deepseek 模型的响应。

复制代码
import requests

def ollama_deepseek_conversation(prompt):
    try:
        url = "http://localhost:5000/deepseek"  # Flask API 地址
        response = requests.post(url, json={"prompt": prompt})  # 发送 POST 请求

        if response.status_code == 200:
            return response.json().get("response", "无响应")  # 解析返回的 JSON 数据
        else:
            return f"Error: {response.status_code} {response.text}"

    except Exception as e:
        return f"Error occurred: {e}"

if __name__ == "__main__":
    print("开始对话,输入'quit'退出")
    while True:
        user_input = input("你: ")
        if user_input.lower() == 'quit':
            print("对话结束")
            break
        
        # 调用 deepseek 模型并获取响应
        response = ollama_deepseek_conversation(user_input)
        print(f"deepseek: {response}")

3.总结

和deepseek对话,可行的方式不仅仅只有命令窗口或webui等等,还可以使用url调用,这样一来,你就可以使用一些硬件接入deepseek(例如使用ESP32接入自己的本地deepseek制作一个本地聊天机器人)。

希望这一片博客可以为你的思路提供新的参考。

相关推荐
布莱克6054 小时前
Swift 类详解:从定义、继承到内存管理的完整指南
服务器·开发语言·ios·ssh·swift·类
果果软件4 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
布莱克6056 小时前
Swift 方法详解:实例方法、类型方法与 mutating 机制
服务器·开发语言·ios·ssh·swift·方法
Rabitebla7 小时前
【Linux】文件篇(五):手撕简易 FILE——模拟实现 C 标准 I/O 缓冲机制
linux·服务器·c语言·笔记·学习·ubuntu
码云社区8 小时前
Java家政服务系统源码:人员技能、服务范围与多商家业务落地
java·开发语言·家政服务·家政小程序·家政系统
摇滚侠8 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
CoderYanger9 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第八弹):MyBatis Generator
java·数据库·spring boot·spring·java-ee·tomcat·mybatis
xx z11 小时前
Radmin LAN 怎么联机(虚拟局域网建房与加入教程)
windows·工具·软件
jaysee-sjc12 小时前
【黑马点评】Day02:优惠券秒杀与分布式锁
java·分布式·nginx·spring·node.js·tomcat·maven
秋天的怀念_David12 小时前
算法一千零一夜 · 第三十五夜 · 恢复风暴
java·程序人生·算法