个人电脑部署私有化大语言模型LLM

个人电脑部署私有化大语言模型

首先要知道的是我们需要后端和前端,这里我们使用后端ollama,但是由于部署完后端之后,需要用命令行操作,不方便,

所以我们需要部署前端框架(chatbox AI, Stremlit(需要编程实现))

Chatbox AI

是一款集多模型对话、文件解析、AI绘图、代码生成等功能于一体的全能AI助手,支持Windows、Mac、Linux、iOS、Android 及网页全平台。凭借简洁直观的界面设计、强大的本地化处理能力和开箱即用的云端服务,Chatbox AI 已成为提升工作效率的首选工具。

后端 :ollama下载

https://ollama.com/download

可以search models搜索你需要的模型,我将部署deepseek所以直接点击第一个

点击deep seek后选择你需要部署的模型,这里我将部署最小的模型,点击箭头所指

点击上述箭头之后,会出现下述的命令行

把命令行输入到命令行窗口

复制代码
ollama run deepseek-r1:1.5b

部署成功,可以使用命令行进行询问

前端部署 :安装chatbox AI




在这里插入图片描述

部署成功

企业开发自己的Ai工具需要使用编码的前端框架 Stremlit,我先研究研究之后更新

相关推荐
小撒的私房菜几秒前
Day 4:让 Agent 记住你——短期记忆实现
人工智能·后端
古希腊掌管代码的神THU几秒前
【清华代码熊】MTP (Multi-Token Prediction)源码详解
人工智能·深度学习·自然语言处理
极客老王说Agent2 分钟前
实在Agent委外加工智能化管控方案与落地案例:从数字劳动力到离散制造全链路闭环
人工智能·ai·制造
Elastic 中国社区官方博客2 分钟前
jina-embeddings-v5-omni:用于文本、图像、音频和视频的 embeddings
大数据·人工智能·elasticsearch·搜索引擎·ai·音视频·jina
郑寿昌5 分钟前
AI时代动画游戏新职业方向
人工智能·游戏
一次旅行5 分钟前
今日AI 新闻简报
人工智能·ai编程·ai写作
小仙女的小稀罕5 分钟前
外教课转写工具选择建议 | 实测筛选高口碑实用方案
大数据·人工智能·学习·自然语言处理·语音识别
啦啦啦_99996 分钟前
1. 深度学习概述
人工智能·深度学习
入门工作者8 分钟前
opencv 胶路检测实战
人工智能·opencv·计算机视觉
OJAC1118 分钟前
近屿AI学:白天做运维,晚上学AI,两天入职
人工智能