私有化部署大模型实战项目

架构分析

不管是个人电脑还是云平台,搭建聊天机器人的步骤为:

  1. 后端和模型部署

个人电脑,后端使用Ollama框架搭配deepseek-r1、qwen模型

云平台,后端使用LangChain框架搭配阿里云百炼平台、通义千问

  1. 前端部署,个人电脑或云平台均可使用Streamlit

Ollama简介

ollama:是一款旨在简化大型语言模型 本地部署和运行过程的开源软件

ollama提供了一个轻量级,易于扩展的框架,让开发者能够在本地机器上轻松构建和管理LLMs(大型语言模型)

通过ollama,开发者可以导入和定制自己的模型,无需关注复杂的底层实现细节

Windows系统安装Ollama

到如下地址进行下载

bash 复制代码
https://ollama.com/download

下载安装完成后,cmd查看是否安装成功

bash 复制代码
ollama -v

这里选择1.5b

bash 复制代码
ollama run deepseek-r1:1.5b

基于Chatbox部署大模型前端

Chatbox是一款基于OpenAI API的开源跨平台智能对话工具,支持Windows、macOS和Linux系统。它旨在为用户提供便捷的AI对话体验,同时具备强大的功能扩展性和灵活性

bash 复制代码
https://chatboxai.app/zh

下载安装后

启动Ollama

模型提供方找到Ollama

如果没有模型可选择,点击获取

右上角直接叉掉会自动保存

创建新对话,选择模型商就可以聊天了

相关推荐
感谢地心引力5 天前
我用 Doubao-Seed-2.1-pro 做了一个深度融入 AI 功能的本地知识库软件
ai·开源·seed·markdown·豆包
阿昌喜欢吃黄桃5 天前
提示词工程:User Prompt 与 System Prompt
ai·prompt·提示词·提示词工程
AI产品测评官5 天前
海内外AI招聘工具分赛道横向对比:五大品类的技术路线与选型参考
人工智能·ai·求职招聘
俊哥V5 天前
每日 AI 研究简报 · 2026-09-21
人工智能·ai
omenkk75 天前
上下文工程:优化系统提示词,利用 KV Cache 降低 Token 成本
ai
代码方舟5 天前
零信任架构实战:基于天远手机在网状态V即时版构建自动化通信分发网关
人工智能·ai·工具分享
MicrosoftReactor5 天前
技术速递|GitHub Copilot App 入门指南:使用 Diff、终端和浏览器
ai·copilot·agent
TechEdu2026065 天前
[人工智能]人工智能时代的零日漏洞与零日攻击
人工智能·网络安全·ai·信息安全
程序员无隅5 天前
Pi Agent Loop 完整流程源码解析:从 Agent.prompt() 到 agent_end
ai