【大语言模型】-- 私有化部署

文章目录

大模型私有化部署的分类

一、按交付形态

一体机整机柜出厂即交付，插电即用

纯软件仅授权模型+推理框架，客户自购服务器

私有化 SaaS 模型以容器/Helm 包交付，部署在客户私有 K8s 上

二、按模型参数规模

规模显存/内存需求常见形态轻量 ≤3B6-8 GB 显存可跑手机、车机、边缘盒标准 7-13B16-24 GB 显存单卡 4090/A10 即可私有化大型 30-70B多卡 40-80 GBA100×2 / H100×2超大型百亿-千亿80 GB×8 以上机群，需分布式并行框架

三、按模态类型

类别说明语言大模型LLaMA3、Qwen2、DeepSeek-R1视觉大模型ViT-e、SwinV2-G，用于工业质检语音大模型Whisper-Large-v3，私有化客服语音转写多模态大模型BLIP-2、Qwen-VL-Chat，图文混合检索

按照使用方式的不同，主要分为源码部署和应用部署：

源码部署，是自行配置相关的 python 以及开发环境。

应用部署，是使用一些厂商预先提供好的工具直接安装后进行部署使用。（如：ollama 本地部署、LM Studio本地部署）

在搜索框中，找到一下需要下载的大模型：

进入对话框中，即可对话：