个人电脑部署私有化大语言模型LLM

个人电脑部署私有化大语言模型

首先要知道的是我们需要后端和前端,这里我们使用后端ollama,但是由于部署完后端之后,需要用命令行操作,不方便,

所以我们需要部署前端框架(chatbox AI, Stremlit(需要编程实现))

Chatbox AI

是一款集多模型对话、文件解析、AI绘图、代码生成等功能于一体的全能AI助手,支持Windows、Mac、Linux、iOS、Android 及网页全平台。凭借简洁直观的界面设计、强大的本地化处理能力和开箱即用的云端服务,Chatbox AI 已成为提升工作效率的首选工具。

后端 :ollama下载

https://ollama.com/download

可以search models搜索你需要的模型,我将部署deepseek所以直接点击第一个

点击deep seek后选择你需要部署的模型,这里我将部署最小的模型,点击箭头所指

点击上述箭头之后,会出现下述的命令行

把命令行输入到命令行窗口

复制代码
ollama run deepseek-r1:1.5b

部署成功,可以使用命令行进行询问

前端部署 :安装chatbox AI




在这里插入图片描述

部署成功

企业开发自己的Ai工具需要使用编码的前端框架 Stremlit,我先研究研究之后更新

相关推荐
happyprince几秒前
06_verl-单控制器与分布式调度
人工智能·架构·强化学习
FL16238631292 分钟前
智慧建筑室内外构件要素识别分割数据集labelme格式5516张13类别
人工智能
米核AI易山4 分钟前
扣子工作流设计模式:5 种可复用的架构模板
人工智能·架构·需求分析·coze·扣子工作流·米核ai易山
小王毕业啦6 分钟前
2012-2024年 上市公司-企业业务招待费数据 (xlsx+文献)
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
承渊政道6 分钟前
【从零开始大模型开发与微调:基于PyTorch与ChatGLM】(从环境搭建到第一个训练闭环:PyTorch2.0深度学习入门实战)
人工智能·pytorch·深度学习·机器学习·语言模型·自然语言处理·pycharm
Tangyuewei9 分钟前
我用 AI 辅助开发了一个发型 App,然后打包成了 APK
android·人工智能·ai编程
delishcomcn13 分钟前
AI赋能的薄膜分切机:从自动化到自优化
运维·人工智能·自动化·薄膜分切机
拓朗工控16 分钟前
工控机核心应用场景与落地价值解析
人工智能·视觉检测·工控机·工业电脑
QiLinkOS17 分钟前
极客精神与商业思维的融合实践(3)
c语言·c++·人工智能·算法·开源协议
沪漂阿龙17 分钟前
Prompt Template:提示词如何从“玄学”变成工程能力?
人工智能·prompt