个人电脑部署私有化大语言模型LLM

个人电脑部署私有化大语言模型

首先要知道的是我们需要后端和前端,这里我们使用后端ollama,但是由于部署完后端之后,需要用命令行操作,不方便,

所以我们需要部署前端框架(chatbox AI, Stremlit(需要编程实现))

Chatbox AI

是一款集多模型对话、文件解析、AI绘图、代码生成等功能于一体的全能AI助手,支持Windows、Mac、Linux、iOS、Android 及网页全平台。凭借简洁直观的界面设计、强大的本地化处理能力和开箱即用的云端服务,Chatbox AI 已成为提升工作效率的首选工具。

后端 :ollama下载

https://ollama.com/download

可以search models搜索你需要的模型,我将部署deepseek所以直接点击第一个

点击deep seek后选择你需要部署的模型,这里我将部署最小的模型,点击箭头所指

点击上述箭头之后,会出现下述的命令行

把命令行输入到命令行窗口

复制代码
ollama run deepseek-r1:1.5b

部署成功,可以使用命令行进行询问

前端部署 :安装chatbox AI




在这里插入图片描述

部署成功

企业开发自己的Ai工具需要使用编码的前端框架 Stremlit,我先研究研究之后更新

相关推荐
Shawn_Shawn11 小时前
大模型的奥秘:Token与Transformer简单理解
人工智能·llm
weixin_3776348412 小时前
【K-S 检验】Kolmogorov–Smirnov计算过程与示例
人工智能·深度学习·机器学习
菜鸟起航ing13 小时前
Spring AI 全方位指南:从基础入门到高级实战
java·人工智能·spring
Guheyunyi13 小时前
智慧消防管理系统如何重塑安全未来
大数据·运维·服务器·人工智能·安全
ZZY_dl13 小时前
训练数据集(三):真实场景下采集的课堂行为目标检测数据集,可直接用于YOLO各版本训练
人工智能·yolo·目标检测
yiersansiwu123d14 小时前
AI伦理治理:在创新与规范之间寻找动态平衡
人工智能
华清远见成都中心14 小时前
成都理工大学&华清远见成都中心实训,助力电商人才培养
大数据·人工智能·嵌入式
爱好读书14 小时前
AI生成er图/SQL生成er图在线工具
人工智能
CNRio14 小时前
智能影像:AI视频生成技术的战略布局与产业变革
人工智能
六行神算API-天璇14 小时前
架构思考:大模型作为医疗科研的“智能中间件”
人工智能·中间件·架构·数据挖掘·ar