个人电脑部署私有化大语言模型LLM

个人电脑部署私有化大语言模型

首先要知道的是我们需要后端和前端,这里我们使用后端ollama,但是由于部署完后端之后,需要用命令行操作,不方便,

所以我们需要部署前端框架(chatbox AI, Stremlit(需要编程实现))

Chatbox AI

是一款集多模型对话、文件解析、AI绘图、代码生成等功能于一体的全能AI助手,支持Windows、Mac、Linux、iOS、Android 及网页全平台。凭借简洁直观的界面设计、强大的本地化处理能力和开箱即用的云端服务,Chatbox AI 已成为提升工作效率的首选工具。

后端 :ollama下载

https://ollama.com/download

可以search models搜索你需要的模型,我将部署deepseek所以直接点击第一个

点击deep seek后选择你需要部署的模型,这里我将部署最小的模型,点击箭头所指

点击上述箭头之后,会出现下述的命令行

把命令行输入到命令行窗口

复制代码
ollama run deepseek-r1:1.5b

部署成功,可以使用命令行进行询问

前端部署 :安装chatbox AI




在这里插入图片描述

部署成功

企业开发自己的Ai工具需要使用编码的前端框架 Stremlit,我先研究研究之后更新

相关推荐
weixin_43618242几秒前
PLC 与 DCS 国产化报告获取:工控产业情报查找指南
大数据·人工智能·国产plc
金智维科技官方13 分钟前
制造业如何用Ki-AgentS智能体平台实现设备巡检自动化?
大数据·运维·人工智能
stereohomology14 分钟前
大模型看大模型:推理Token的能耗用电量比对
人工智能
Hello world.Joey15 分钟前
Transformer解读
人工智能·深度学习·神经网络·自然语言处理·nlp·aigc·transformer
机器之心20 分钟前
Sand.ai开源发布MagiCompiler:突破局部编译界限,定义训推性能上限
人工智能·openai
KieranYin33 分钟前
AI编程 | 概念
人工智能
飞Link43 分钟前
LangChain Core 架构深度剖析与 LCEL 高阶实战
人工智能·架构·langchain
liangdabiao1 小时前
Seedance 2.0 Skill 一键写好剧本上线了coze的技能商店了,免费
人工智能
喵飞云智AI研发社1 小时前
本土AI企业发力 喵飞科技AIGC开年分享会助力天津数字化转型
人工智能·科技·aigc
于过1 小时前
AgentMiddleware is All You Need
人工智能·langchain·llm