个人电脑部署私有化大语言模型LLM

个人电脑部署私有化大语言模型

首先要知道的是我们需要后端和前端,这里我们使用后端ollama,但是由于部署完后端之后,需要用命令行操作,不方便,

所以我们需要部署前端框架(chatbox AI, Stremlit(需要编程实现))

Chatbox AI

是一款集多模型对话、文件解析、AI绘图、代码生成等功能于一体的全能AI助手,支持Windows、Mac、Linux、iOS、Android 及网页全平台。凭借简洁直观的界面设计、强大的本地化处理能力和开箱即用的云端服务,Chatbox AI 已成为提升工作效率的首选工具。

后端 :ollama下载

https://ollama.com/download

可以search models搜索你需要的模型,我将部署deepseek所以直接点击第一个

点击deep seek后选择你需要部署的模型,这里我将部署最小的模型,点击箭头所指

点击上述箭头之后,会出现下述的命令行

把命令行输入到命令行窗口

复制代码
ollama run deepseek-r1:1.5b

部署成功,可以使用命令行进行询问

前端部署 :安装chatbox AI




在这里插入图片描述

部署成功

企业开发自己的Ai工具需要使用编码的前端框架 Stremlit,我先研究研究之后更新

相关推荐
深度学习lover4 分钟前
<数据集>yolo螺丝螺母识别数据集<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·螺丝螺母识别
Geoking.4 分钟前
PyTorch 基础详解:tensor.item() 方法
人工智能·pytorch·python
CareyWYR28 分钟前
每周AI论文速递(251027-251031)
人工智能
Jason_zhao_MR28 分钟前
如何精准驱动菜品识别模型--基于米尔瑞芯微RK3576边缘计算盒
人工智能·边缘计算
私域实战笔记1 小时前
选企业微信服务商哪家好?从工具适配与行业案例看选型逻辑
大数据·人工智能·企业微信
左师佑图1 小时前
扩展阅读:目标检测(Object Detection)标注
人工智能·目标检测·目标跟踪
AI企微观察1 小时前
企业微信社群运营玩法有哪些?企业微信社群工具有哪些功能?——从拉新到留存的玩法设计与工具支撑
大数据·人工智能
南方的狮子先生1 小时前
【深度学习】60 分钟 PyTorch 极速入门:从 Tensor 到 CIFAR-10 分类
人工智能·pytorch·python·深度学习·算法·分类·1024程序员节
格林威1 小时前
AOI设备在光伏制造领域的核心应用
人工智能·数码相机·计算机视觉·目标跟踪·视觉检测·制造
测试开发Kevin1 小时前
大语言模型技术Agentic Context Engineering (ACE) 的到来会取代微调吗
人工智能·ai·语言模型·自然语言处理