私有化部署大模型实战项目

架构分析

不管是个人电脑还是云平台，搭建聊天机器人的步骤为：

1. 后端和模型部署

个人电脑，后端使用Ollama框架搭配deepseek-r1、qwen模型

云平台，后端使用LangChain框架搭配阿里云百炼平台、通义千问

2. 前端部署，个人电脑或云平台均可使用Streamlit

Ollama简介

ollama：是一款旨在简化大型语言模型 本地部署和运行过程的开源软件

ollama提供了一个轻量级，易于扩展的框架，让开发者能够在本地机器上轻松构建和管理LLMs（大型语言模型）

通过ollama，开发者可以导入和定制自己的模型，无需关注复杂的底层实现细节

Windows系统安装Ollama

到如下地址进行下载

https://ollama.com/download

下载安装完成后，cmd查看是否安装成功

ollama -v

这里选择1.5b

ollama run deepseek-r1:1.5b

基于Chatbox部署大模型前端

Chatbox是一款基于OpenAI API的开源跨平台智能对话工具，支持Windows、macOS和Linux系统。它旨在为用户提供便捷的AI对话体验，同时具备强大的功能扩展性和灵活性

https://chatboxai.app/zh

下载安装后

启动Ollama

模型提供方找到Ollama

如果没有模型可选择，点击获取

右上角直接叉掉会自动保存

创建新对话，选择模型商就可以聊天了