文章目录
文章目录
- 大模型私有化部署的分类
- [实践（LM Studio本地部署）](#实践（LM Studio本地部署）)
- 系列文章
大模型私有化部署的分类
一、按交付形态
一体机 整机柜出厂即交付，插电即用
纯软件 仅授权模型+推理框架，客户自购服务器
私有化 SaaS 模型以容器/Helm 包交付，部署在客户私有 K8s 上
二、按模型参数规模
规模显存/内存需求常见形态轻量 ≤3B6-8 GB 显存可跑手机、车机、边缘盒标准 7-13B16-24 GB 显存单卡 4090/A10 即可私有化大型 30-70B多卡 40-80 GBA100×2 / H100×2超大型 百亿-千亿80 GB×8 以上机群，需分布式并行框架
三、按模态类型
类别说明语言大模型LLaMA3、Qwen2、DeepSeek-R1视觉大模型ViT-e、SwinV2-G，用于工业质检语音大模型Whisper-Large-v3，私有化客服语音转写多模态大模型BLIP-2、Qwen-VL-Chat，图文混合检索
按照使用方式的不同，主要分为源码部署和应用部署：
源码部署，是自行配置相关的 python 以及开发环境。
应用部署，是使用一些厂商预先提供好的工具直接安装后进行部署使用。（如：ollama 本地部署、LM Studio本地部署）
实践（LM Studio本地部署）
LM Studio 下载地址：LM Studio - Local AI on your computer
在搜索框中，找到一下需要下载的大模型：
进入对话框中，即可对话：
系列文章
【大语言模型】-- OpenAI定义的五个AGI发展阶段
【大语言模型】-- Fine-tuning 微调
【大语言模型】-- 私有化部署
【大语言模型】-- Prompt Engineering 提示工程
【大语言模型】-- Function Calling函数调用
【大语言模型】-- RAG
【大语言模型】-- Agent
【大语言模型】-- 一些概念