在使用私有 AI 服务(PAIS)时,直接从公共平台下载 AI 模型不仅慢,还存在安全风险,搭建一个专属的私有模型仓库就很有必要。本文专为小白设计,用通俗的语言讲解如何借助 VMware Cloud Foundation(VCF)9.0 和 Harbor 工具,一步步搭建能存放 Hugging Face AI 模型的私有仓库。全程避开复杂术语,每个步骤都说明 "为什么做" 和 "怎么做",即使是 IT 初学者也能轻松跟着操作,让你快速拥有安全、便捷的私有 AI 模型存储方案。
一、前期准备:这些工具要提前备齐
在开始操作前,我们需要准备好以下工具和环境,就像做饭前要备好食材一样,提前准备能让后续操作更顺畅:
一台服务器(虚拟机或物理机均可):用来安装 Harbor 仓库,后续所有 AI 模型都会存放在这里。
本地电脑安装 Docker Client:这是一个用来和仓库交互的工具,就像 "文件传输助手",负责把本地的 AI 模型上传到 Harbor。
本地电脑安装 Hugging Face CLI:Hugging Face 是全球知名的 AI 模型平台,这个工具能让我们在电脑上直接下载需要的 AI 模型。安装方法可以参考 Hugging Face 官方文档,跟着步骤点击安装就行,非常简单。
本地电脑安装 VCF CLI:这是 VMware 专属的命令行工具,用来对接 VCF 平台和 Harbor 仓库,实现模型的上传操作,安装时同样参考 VMware 官方文档即可。
二、详细操作步骤:一步步搭建私有 AI 模型仓库
步骤 1:安装 Harbor 并配置 HTTPS
首先我们要在准备好的服务器上安装 Harbor,安装时一定要选择 HTTPS 方式(这是一种安全的连接方式,能保护模型不被窃取)。具体安装步骤可以查看 Harbor 官方文档,跟着文档里的图文指引操作,就能完成安装。
这里有个重要提醒:AI 模型的体积通常很大,有的甚至有几十 GB,所以安装 Harbor 时,一定要给服务器分配足够的存储空间。建议提前检查服务器的硬盘容量,不够的话及时扩容,避免后续下载模型时出现 "空间不足" 的问题。
另外,虽然 VMware 有自带的 Harbor vSphere Supervisor Service,但更推荐大家安装独立的外部 Harbor 实例。因为独立实例可以直接把服务器导出为 OVA 文件备份,后续如果需要重建环境,直接恢复备份就能用,不用重新搭建仓库和上传模型,能省很多事。
步骤 2:创建 Harbor 项目,专门存放 AI 模型
安装好 Harbor 后,我们需要登录它的管理界面(Admin UI),创建一个专门用来存放 AI 模型的 "项目"。就像在电脑里新建一个文件夹,把同类文件放在一起,方便后续查找和管理。
操作方法很简单:登录 Harbor 后,找到 "新建项目" 按钮,给项目起个好记的名字,比如我这里叫 "models"。为了方便后续使用,我把这个项目设置为 "公共仓库",意思是后续从仓库里读取模型时,不需要输入账号密码验证,直接就能使用。如果你的模型涉及敏感信息,想要设置密码保护,也可以选择 "私有仓库",但后续部署模型时,需要额外配置 "拉取密钥" 才能读取模型。
这里还要记住一个关键信息:后续上传或下载模型时,会用到一个 "地址格式",是 "Harbor 服务器域名 + 项目名 + 模型名 + 模型版本",比如 "registry.vcf.lab/models/ 模型名称:版本号",后续操作会用到这个格式,记不住也没关系,后面会再次提到。
步骤 3:用 Docker Client 登录 Harbor 仓库
接下来,我们要在本地电脑上打开 Docker Client,通过命令登录到刚才搭建的 Harbor 仓库,这样才能有权限上传模型。
打开电脑的命令行工具(Windows 用 CMD 或 PowerShell,Mac 和 Linux 用终端),输入以下命令:
docker login registry.vcf.lab/models -u admin -p VMware1!
这里要注意替换参数:"registry.vcf.lab/models" 是你自己的 Harbor 项目地址,"admin" 是 Harbor 的登录用户名,"VMware1!" 是登录密码,输入完成后按回车,提示 "登录成功" 就说明没问题了。
步骤 4:添加 CA 证书,建立安全信任
这一步非常关键,很多小白容易忽略,导致后续上传模型失败。因为 Harbor 用的是 HTTPS 安全连接,本地电脑需要 "信任" 这个仓库的安全证书,才能正常和它交互。
我们需要先从 Harbor 仓库下载 "根 CA 证书"(安装 Harbor 时会生成这个证书),然后把证书添加到本地电脑的 "信任列表" 里,不同系统的添加方法不一样,大家可以参考对应的指引:
Windows 系统:按照官方指引,把证书添加到系统的 "证书存储" 中;
Mac 系统:把证书添加到 "钥匙串" 里,并设置为 "始终信任";
Linux 系统:将证书复制到系统的证书存储目录下,完成信任配置。
如果这一步没做好,后续上传模型时会出现 "不信任连接" 的错误,导致上传失败,所以一定要仔细操作。
步骤 5:下载 Hugging Face 的 AI 模型
现在我们要从 Hugging Face 平台下载需要的 AI 模型,存到本地电脑上。首先打开 Hugging Face 官网,找到你想要的模型(比如我选的 "BAAI/bge-small-en-v1.5" 和 "TinyLlama/TinyLlama-1.1B-Chat-v1.0",这两个是体积较小的模型,适合初学者测试),复制模型的 "名称 ID"(就是模型页面上的一串名字,比如 "BAAI/bge-small-en-v1.5")。
然后打开本地电脑的命令行工具,输入以下命令,创建文件夹并下载模型:
创建存放第一个模型的文件夹
mkdir bge-small-en-v1.5
下载模型到这个文件夹
huggingface-cli download BAAI/bge-small-en-v1.5 --local-dir bge-small-en-v1.5
创建存放第二个模型的文件夹
mkdir tinyllama-1.1b-chat-v1.0
下载模型到这个文件夹
huggingface-cli download TinyLlama/TinyLlama-1.1B-Chat-v1.0 --local-dir tinyllama-1.1b-chat-v1.0
这里的 "mkdir" 命令是创建文件夹,"huggingface-cli download" 是下载命令,"--local-dir" 后面跟着的是存放模型的文件夹路径。下载过程可能需要一段时间,取决于你的网络速度和模型大小,耐心等待即可。
步骤 6:上传本地模型到 Harbor 私有仓库
最后一步,就是把下载好的本地模型上传到 Harbor 仓库里,这样我们的私有模型仓库就真正能用了。这里有个容易踩坑的地方,一定要注意:上传前必须先进入模型所在的文件夹,否则会导致上传失败,而且不会提示错误,容易让人误以为上传成功了。
正确的操作步骤是:
打开命令行工具,进入第一个模型的文件夹:
cd bge-small-en-v1.5
输入上传命令,把模型传到 Harbor 仓库:
vcf pais models push --modelName baai/bge-small-en-v1.5 --modelStore registry.vcf.lab/models -t v5
上传完成后,再进入第二个模型的文件夹:
cd ../tinyllama-1.1b-chat-v1.0
输入上传命令:
vcf pais models push --modelName tinyllama/tinyllama-1.1b-chat-v1.0 --modelStore registry.vcf.lab/models -t v1
这里的命令参数要解释一下:"--modelName" 是模型在仓库里的名称(要符合 DNS 命名规则,比如小写、没有空格),"--modelStore" 是 Harbor 的项目地址,"-t" 后面是模型的版本号(可以自己随便定,比如 v1、v5,方便后续区分不同版本的模型)。
上传完成后,我们可以登录 Harbor 的管理界面,在 "models" 项目里看到这两个模型,说明上传成功了!接下来,这些模型就可以在你的私有 AI 服务(PAIS)中直接使用,不用再从公共平台下载,既安全又快捷。
三、总结
通过以上 6 个步骤,我们就成功用 VCF 9.0 和 Harbor 搭建好了私有 AI 模型仓库。整个过程虽然看起来有很多步骤,但只要跟着指引一步步来,小白也能轻松完成。这个私有仓库能帮你安全存储 AI 模型,避免重复下载大文件,还能保护敏感模型不泄露,非常适合企业或个人搭建私有 AI 服务。如果操作过程中遇到问题,可以回头检查每个步骤的细节,尤其是证书配置和文件夹切换这两个关键环节,祝你搭建成功!