个人电脑部署私有化大语言模型LLM

个人电脑部署私有化大语言模型

首先要知道的是我们需要后端和前端,这里我们使用后端ollama,但是由于部署完后端之后,需要用命令行操作,不方便,

所以我们需要部署前端框架(chatbox AI, Stremlit(需要编程实现))

Chatbox AI

是一款集多模型对话、文件解析、AI绘图、代码生成等功能于一体的全能AI助手,支持Windows、Mac、Linux、iOS、Android 及网页全平台。凭借简洁直观的界面设计、强大的本地化处理能力和开箱即用的云端服务,Chatbox AI 已成为提升工作效率的首选工具。

后端 :ollama下载

https://ollama.com/download

可以search models搜索你需要的模型,我将部署deepseek所以直接点击第一个

点击deep seek后选择你需要部署的模型,这里我将部署最小的模型,点击箭头所指

点击上述箭头之后,会出现下述的命令行

把命令行输入到命令行窗口

复制代码
ollama run deepseek-r1:1.5b

部署成功,可以使用命令行进行询问

前端部署 :安装chatbox AI




在这里插入图片描述

部署成功

企业开发自己的Ai工具需要使用编码的前端框架 Stremlit,我先研究研究之后更新

相关推荐
珠海西格电力2 小时前
零碳园区数据应用的具体场景有哪些?
大数据·人工智能·算法·架构·能源
CCYe、2 小时前
从零搭一个 AI 网关:30 分钟接入 GPT-5 / Claude / Gemini
人工智能
QiLinkOS3 小时前
徐玉生《中国技术大败局》完整体系深度评析(1)
人工智能·dna双螺旋归因模型·中国工业的数字验尸官·技术专利研发情报洞察·qilinkos报告·技术专利情报洞察·数字黑匣子
kft13143 小时前
Playwright + 本地 AI,从录制到自愈闭环的一站式自动化测试平台。
人工智能·测试工具
行走的小派3 小时前
香橙派三款昇腾产品实操案例合集:DeepSeek部署、YOLOv8检测、智能助手平台
人工智能
牛哥带你学代码3 小时前
VLA 与机器人基础模型:具身智能的下一代操作系统
人工智能·机器人
Cutecat_3 小时前
YouTube 多语种自动配音功能实测:AI 如何让一条视频“开口说”多种语言
人工智能·科技·音视频
Maynor9963 小时前
AI Coding 零基础实战教程|第五部分:完整项目案例实操
java·前端·人工智能·claude code·ai coding
三品吉他手会点灯3 小时前
嵌入式机器学习 - 学习笔记1.0.2 - 学习路线导览:从机器学习基础到 TinyML应用
人工智能·笔记·嵌入式硬件·学习·机器学习