TensorRT-LLM.V1.1.0rc0:在无 GitHub 访问权限的服务器上编译 TensorRT-LLM 的完整实践

一、TensorRT-LLM有三种安装方式,从简单到难

1.NGC上的预构建发布容器进行部署,见《tensorrt-llm0.20.0离线部署DeepSeek-R1-Distill-Qwen-32B》。

2.通过pip进行部署。

3.从源头构建再部署。

在实际开发中,我们常常面临这样的场景:本地笔记本为 Windows 系统,虽然可以访问 GitHub,但受限于硬件性能,编译大型项目(如 TensorRT-LLM)耗时过长;而公司或实验室提供的 Linux 服务器性能强劲,适合编译任务,但却因网络策略限制无法连接外网,尤其是无法访问 GitHub。

为了充分利用服务器的高性能并绕过网络限制,本文将分享一种高效、可行的编译方案:在本地准备依赖资源,通过中转方式将代码和依赖上传至服务器,完成编译构建

二、在能连接github的服务器中,下载源代码

2.1下载源代码

#git clone https://github.com/NVIDIA/TensorRT-LLM.git

上传到服务器/home/TensorRT-LLM

2.2下载cmake和mpi4py

https://github.com/Kitware/CMake/releases/download/v3.30.2/cmake-3.30.2-linux-x86_64.tar.gz

https://github.com/mpi4py/mpi4py/archive/refs/tags/3.1.5.tar.gz

上传到服务器/home/TensorRT-LLM/docker/context,如果文件夹不存在,则创建。

2.3修改Dockerfile.multi文件

增加如下两行代码:

COPY docker/context/cmake.tar.gz /tmp/cmake-3.30.2-linux-x86_64.tar.gz

Install mpi4py

COPY docker/context/mpi4py-3.1.5.tar.gz /tmp/mpi4py-3.1.5.tar.gz

2.4修改install_cmake.sh文件

注释下面两行或删除。

路径:/home/TensorRT-LLM/docker/common/install_cmake.sh

#RELEASE_URL_CMAKE={GITHUB_URL}/Kitware/CMake/releases/download/v{CMAKE_VERSION}/${CMAKE_FILE_NAME}.tar.gz

#wget --no-verbose --timeout=180 --tries=3 ${RELEASE_URL_CMAKE} -P /tmp

2.5修改install_mpi4py.sh文件

路径:/home/TensorRT-LLM/docker/common/install_mpi4py.sh

将curl -L {RELEASE_URL} \| tar -zx -C "TMP_DIR"

改成

tar -zxf /tmp/mpi4py-3.1.5.tar.gz -C "$TMP_DIR"

2.6修改scripts/build_wheel.py文件

路径:/home/TensorRT-LLM/scripts/build_wheel.py

将下面的代码删除或注释

with open(project_dir / ".gitmodules", "r") as submodules_f:

submodules = [

l.split("=")[1].strip() for l in submodules_f.readlines()

if "path = " in l

]

if any(not (project_dir / submodule / ".git").exists()

for submodule in submodules):

build_run('git submodule update --init --recursive')

三、编译开发环境

构建脚本有7个阶段,详见《TensorRT-LLM.V1.1.0rc1:Dockerfile.multi文件解读》。

本次构建开发环境devel

docker buildx build --target devel --load --platform linux/amd64 -f docker/Dockerfile.multi -t tensorrt-llm:1.1.0rc0 .

3.1参数解释

--target devel

表示只构建多阶段 Dockerfile 中名为 devel 的构建阶段(stage)。

使用 --target devel 意味着:只构建到 devel 阶段为止,不继续构建后面的 runtime 等阶段。

这通常用于开发调试,因为 devel 镜像包含编译工具、源码等,体积大但便于开发。

--load

将构建好的镜像加载到本地 Docker 镜像库中(即可以通过 docker images 看到)。

因为 buildx 默认使用 docker-container 或 remote 构建器时,结果不会自动进入本地镜像列表。

--platform linux/amd64

指定目标架构为 x86_64(即 amd64) 的 Linux 系统。

即使你在 ARM(如 Apple M1/M2)机器上运行,也会通过 QEMU 模拟构建出 amd64 的镜像。

常见可选值:

linux/amd64(Intel/AMD 64位)

linux/arm64(ARM 64位,如 M1/M2)

也可以指定多个:--platform linux/amd64,linux/arm64

-f docker/Dockerfile.multi

指定使用的 Dockerfile 文件路径为:项目根目录下的 docker/Dockerfile.multi。

表明这是一个多阶段构建(multi-stage) 的 Dockerfile,可能包含多个 FROM 阶段,用于分离开发、运行环境等。

-t tensorrt-llm:1.1.0rc0

给构建出的镜像打标签(tag):

仓库名:tensorrt-llm

标签名:1.1.0rc0(表示版本 1.1.0 的 release candidate 0)

#docker images查看