腾讯云HAI服务器上部署与调用DeepSeek-R1大模型的实战指南

上次我们大概了解了一下 DeepSeek-R1 大模型,并简单提及了 Ollama 的一些基本信息。今天,我们将深入实际操作,利用腾讯云的 HAI 服务器进行 5 分钟部署,并实现本地 DeepSeek-R1 大模型的实时调用。接下来,我们直接进入部署过程。

服务器准备

首先,我们需要登录腾讯云平台并购买 HAI 应用服务。腾讯云提供了两种计费方式:包月计费和按时计费。由于我目前并没有特别紧迫或庞大的需求,因此为了节省成本,我选择了按时计费方式。具体的购买流程和配置选项可以参考下面的图示:

在我完成购买后,腾讯云 HAI 服务器会自动为我们部署 DeepSeek-R1 模型并启动运行,整个过程非常简便。同时,HAI 还提供了算力连接的选择,具体有三种不同的方式:

  1. ChatBotUI:这是一种广泛应用的可视化聊天界面,它不仅支持实时的聊天互动,还具备管理聊天记录和提示词模板等功能,非常适合需要快速构建对话系统的场景。
  2. CloudStudio:CloudStudio 是一款功能强大的在线集成开发环境(IDE)。它允许我们编写 Python 脚本、调试代码、进行多种应用开发和测试,非常适合开发者进行项目调试和优化。
  3. JupyterLab:作为一种极为流行的数据科学工具,JupyterLab 提供了多个终端选择,包括 Linux 终端和 Python 脚本执行环境。它为数据分析、模型训练及执行等任务提供了非常便捷的支持。

ChatBotUI

在这里,我们首先来了解一下可视化界面,并演示如何快速上手使用。通过这一界面,用户可以直观地进行各种操作,轻松实现需求的配置和调整。具体的操作步骤和界面效果可以参考下面的图示:

可以选择其他选项,虽然有时候需要进行角色授权,授权过程非常简单,点击"授权"按钮即可完成,无需进行复杂操作。一旦授权完成,你便可以进入聊天界面。在该界面中,HAI服务器提供了多种参数选项,例如7B和1.5B。选择合适的参数后,你就可以立即开始实时聊天,无需等待。

ollama终端

我们继续选择JupyterLab方式连接算力,这里选择终端,如图所示:

我们去看下终端命令查看下,如图所示:

在这里,我们可以看到其实它使用的也是基于Ollama运行的DeepSeek-R1大模型。通过这种方式,用户可以非常方便地直接使用Ollama提供的命令,来查看和操作相应的API接口。如图所示:

这里我们演示的是直接使用 Ollama 运行 DeepSeek-R1 大模型,模型参数为 1.5B。要结束当前会话,您可以使用快捷键 Ctrl + D 退出。不过,需要注意的是,采用这种方式仅支持在本地运行和启动,无法进行外网调用或配置远程访问。

因此,如果希望实现外网访问或其他更复杂的配置,接下来的步骤将会介绍相关方法。

ollama-API服务

这里我们查看ollama如果想要启动大模型服务接口,可以使用ollama serve命令启动,如图所示:

可以看到,系统已经成功开机并启动,且绑定的端口号为6399。在这种情况下,我们只需直接开放该端口即可。值得注意的是,HAI服务器还提供了外网IP地址,因此我们可以通过访问该IP来进行端口的开放设置。

接下来,我们将按照Ollama的API文档中的指引,完成端口设置的操作。具体操作流程如下所示:

CloudStudio连接

启动完API服务后,我们直接使用CloudStudio进行本地调用。新建一个py文件,代码内容如下:

python 复制代码
from openai import OpenAI

client = OpenAI(api_key="ollama", base_url="http://localhost:6399/v1/")

response = client.chat.completions.create(
    model="deepseek-r1:1.5b",
    messages=[
        {"role": "system", "content": "You are a helpful assistant"},
        {"role": "user", "content": "Hello"},
    ],
    stream=False
)

print(response.choices[0].message.content)

这里虽然写了api-key信息,但是ollama是不会校验的,你可以写任何字符串,以为这个参数是方法必传参数。结果运行如下:

如果你安装完openai依赖包,但仍是无法找到,那么你就在CloudStudio中添加虚拟环境即可,命令如下:

python -m venv venv

然后再执行pip3 install openai命令即可成功运行。当然这里是本地测试,你也可以使用公网IP进行配置并调试。

总结

通过本次实践,我们成功地使用腾讯云的HAI服务器进行了DeepSeek-R1大模型的部署与实时调用。从购买HAI应用服务,到通过ChatBotUI、JupyterLab、CloudStudio等工具进行配置和调试,我们详细介绍了每个步骤。

通过本地和外网API的操作,我们不仅了解了模型部署的基本流程,还掌握了如何利用Ollama提供的API服务进行大模型调用。


我是努力的小雨,一个正经的 Java 东北服务端开发,整天琢磨着 AI 技术这块儿的奥秘。特爱跟人交流技术,喜欢把自己的心得和大家分享。还当上了腾讯云创作之星,阿里云专家博主,华为云云享专家,掘金优秀作者。各种征文、开源比赛的牌子也拿了。

💡 想把我在技术路上走过的弯路和经验全都分享出来,给你们的学习和成长带来点启发,帮一把。

🌟 欢迎关注努力的小雨,咱一块儿进步!🌟

相关推荐
SomeB1oody14 小时前
【RustyML入门】7.4. 按需裁剪与模块化集成
开发语言·后端·机器学习·rust·教程
罗超驿14 小时前
SpringBoot 快速入门
java·spring boot·后端
卷无止境15 小时前
除了开发api,FastAPI其实也可以配合jinja2模板写页面
后端·python·fastapi
newerp15 小时前
Redis 操作与缓存策略
后端·程序员·go
newerp15 小时前
GORM ORM 基础
后端·程序员·go
小岛前端15 小时前
AI Skills 已经封神,但新的问题却越来越严重!
前端·后端·github
拖孩15 小时前
一个人 + AI 做的小程序,上线 15 天赚了 10 块 5
前端·后端·微信小程序
newerp15 小时前
CRUD 操作与预处理语句
后端·程序员·go
wei_shuo15 小时前
KES 数据同步与ETL实战:数据集成、转换与实时同步方案
后端
乒乓狂魔147867399700015 小时前
LangGraph:用一张图,编排一群 AI 助手
后端