一个拥有 2.2 万 GitHub Stars 的明星开源项目突然无法访问,给所有开发者敲响了警钟:如果有一天 GitHub 上的依赖消失了,你的项目还能正常构建吗?

微软 ONNX Runtime 仓库突然 404:你的项目,可能并不真正属于你
一个拥有 2.2 万 GitHub Stars 的明星开源项目突然无法访问,给所有开发者敲响了警钟:如果有一天 GitHub 上的依赖消失了,你的项目还能正常构建吗?
最近,开发者社区出现了一件比较意外的事情。
微软旗下的开源项目 ONNX Runtime ,其 GitHub 仓库 microsoft/onnxruntime 突然返回了 404。
没有常规的仓库归档提示,也没有明显的迁移公告。开发者访问原来的地址,只能看到熟悉的 Not Found。
这不是一个普通的小型开源项目。
ONNX Runtime 是微软主导的跨平台机器学习推理引擎,被大量 AI 应用、推理框架和开发工具使用。Python、C++、C#、Java、JavaScript 等生态中,都能看到它的身影。
更值得注意的是,这次异常并没有让所有使用者同时受到影响。
PyPI 上的 onnxruntime 安装包仍然可以获取,官方文档和 NuGet 包也仍然存在。
真正消失的是 GitHub 上的源代码仓库,以及与仓库关联的部分资源,包括 Release 文件、Submodule、Issue 历史和安全讨论。
这意味着:
如果你的项目只是通过 PyPI 安装 ONNX Runtime,可能暂时没有感知;但如果你的 CI 直接从 GitHub 下载源码、Release 二进制文件,或者通过 Git Submodule 引入它,就可能直接构建失败。
这件事真正值得关注的,并不是 ONNX Runtime 为什么突然消失,而是一个更现实的问题:
我们每天依赖的开源基础设施,到底有多少并不掌握在自己手里?
一、一个 GitHub 404,为什么会影响整个开发团队?
很多开发者对依赖管理的理解,可能还停留在:
bash
npm install
pip install
cargo build
只要依赖包能安装,项目就能正常运行。
但实际上,软件构建过程远比这复杂。
以一个普通的 AI 应用为例:
-
Python 依赖通过 PyPI 获取。
-
Rust 依赖通过 crates.io 获取。
-
JavaScript 依赖通过 npm 获取。
-
底层推理引擎通过 GitHub Release 下载。
-
模型权重通过 Hugging Face 获取。
-
CI/CD 通过 GitHub Actions 执行。
-
Docker 构建时还会从其他仓库拉取脚本和二进制文件。
你以为自己只依赖了几个包管理器,实际上构建流程可能在几十个不同的网站之间跳转。
问题就在这里。
包管理器提供的依赖,不等于项目完整的构建依赖。
举个例子:
你的 Python 项目可能只写了:
bash
pip install onnxruntime
这种情况下,PyPI 已经提供了发布好的 Wheel 包,通常不需要直接访问 ONNX Runtime 的 GitHub 源码仓库。
但是,如果你的构建脚本中存在:
bash
git clone https://github.com/microsoft/onnxruntime.git
或者:
bash
curl -L https://github.com/microsoft/onnxruntime/releases/download/v1.32.0/onnxruntime-linux-x64-1.32.0.tgz
那么情况就完全不同了。
即使 PyPI 上的安装包仍然存在,你的源码构建和二进制下载也可能失败。
这就是这次事件最值得警惕的地方:
一个项目可以正常运行,但你未必还能重新构建出它。
对于有 CI/CD、自动部署和持续交付需求的团队来说,这种风险尤其明显。
二、真正危险的不是 GitHub,而是你不知道自己依赖了多少外部资源
原文作者 KarmaBox 提出了一个概念:Upstream Risk,也就是上游依赖风险。
简单理解:
你使用的代码、模型、二进制文件和构建工具,都托管在别人的基础设施上。一旦对方删除仓库、修改访问权限、调整下载策略,甚至停止维护,你的项目就可能受到影响。
我认为,这个问题可以拆成五个方面。
1. Git 依赖:你可能直接依赖别人的仓库
很多项目为了使用某个尚未发布的功能,会直接引用 GitHub 仓库。
例如 Python:
bash
git+https://github.com/user/project.git
Rust:
bash
[dependencies]
some-lib = {
git = "https://github.com/user/some-lib"
}
JavaScript:
bash
{
"dependencies": {
"some-lib": "github:user/some-lib"
}
}
这种方式非常方便,但也意味着每次全新构建都可能需要访问上游 Git 仓库。
如果这个仓库突然变成私有、被删除或者无法访问,新的构建环境就可能无法获取依赖。
建议:
优先使用正式发布到包管理器的版本。确实需要 Git 版本的依赖,则考虑 Fork 到自己的组织,或者建立内部镜像。
2. Git Submodule:最容易被忽略的构建风险
很多大型项目都会使用 Submodule 管理第三方代码。
例如:
bash
git submodule update --init --recursive
看起来只是初始化项目依赖,但实际上 Git 会根据 .gitmodules 中记录的地址,重新下载对应仓库。
可以通过下面的命令检查:
bash
git config --file .gitmodules --list
如果其中存在多个第三方 GitHub 地址,就需要关注这些仓库的可用性。
尤其是大型 C++、Rust、AI 项目,底层依赖可能包含推理引擎、图像处理库、硬件加速组件等。
主项目还在,并不代表所有 Submodule 都能正常获取。
3. Docker 和构建脚本:一个 curl 就可能让部署失败
检查一下你的 Dockerfile、Makefile 和安装脚本。
例如:
bash
RUN curl -L \
https://github.com/ORG/REPO/releases/download/v1.0/tool.tar.gz \
-o tool.tar.gz
这种写法在平时非常方便。
但如果上游仓库不可访问,Docker 镜像就无法重新构建。
更麻烦的是,生产环境可能一直运行正常,直到某一天需要重新部署、扩容或者迁移服务器,才发现依赖资源已经无法下载。
建议将关键二进制文件存放在自己的 Artifact Storage 中,并记录原始下载地址和 SHA256 校验值。
4. GitHub Actions:固定 Commit 不代表永远可用
很多开发者会使用:
bash
steps:
- uses: actions/checkout@v4
- uses: some-user/some-action@v2
为了安全,有人会进一步固定到 Commit SHA。
例如:
bash
- uses: some-user/some-action@a1b2c3d4...
这确实可以降低依赖版本被悄悄替换的风险。
但它不能解决仓库消失的问题。
因为即使你固定了 Commit SHA,GitHub Actions 仍然需要从对应仓库获取代码。
仓库不存在,Commit SHA 也就无法正常下载。
对于关键的第三方 Action,可以考虑将代码复制到自己的项目中:
bash
- uses: ./.github/actions/my-action
或者 Fork 到自己的组织。
5. AI 模型:比代码依赖更值得担心
这一点我认为尤其重要。
现在大量 AI 应用依赖 Hugging Face、ModelScope 等平台获取模型文件。
常见格式包括:
bash
.onnx
.gguf
.safetensors
.bin
.pt
模型权重通常非常大,从几百 MB 到几十 GB 不等。
很多项目为了节省存储空间,并不会在自己的服务器上保存完整模型,而是在应用启动时自动下载。
问题是,模型仓库的访问策略、授权要求和文件托管方式都可能发生变化。
有些模型还需要用户接受许可证才能下载。
除了模型权重本身,还有一些容易被忽略的小文件:
-
tokenizer.json
-
tokenizer_config.json
-
config.json
-
generation_config.json
-
chat_template.jinja
这些文件虽然不大,却可能直接影响模型加载和推理结果。
如果只备份模型权重,不备份完整的模型目录,最终仍然可能无法正常运行。
三、开发者可以怎样检查自己的项目?
原文提供了一套非常实用的审计思路。
不需要部署复杂的安全扫描平台,只需要在项目根目录执行一些命令,就能发现不少潜在问题。
第一步:检查依赖锁文件
bash
grep -n "github.com" \
package-lock.json \
yarn.lock \
pnpm-lock.yaml \
requirements*.txt \
poetry.lock \
Pipfile.lock \
go.sum \
Cargo.lock 2>/dev/null
主要检查有没有直接从 GitHub 获取的依赖。
注意,不同生态的锁文件格式不同。例如 Python 需要重点关注 git+https,JavaScript 需要关注 Git URL 和 GitHub Tarball。
Go 项目则需要结合 go.mod 中的 replace 指令判断,不能简单把 go.sum 中出现的 GitHub 字符串都视为直接依赖。
发现问题之后,先判断是否已经存在正式发布版本。
如果有,尽量切换到 PyPI、npm、crates.io 等正式包管理器。
第二步:检查 Submodule
bash
git config --file .gitmodules --list
把所有 Submodule 地址记录下来。
对于无法替代的关键依赖,建议建立自己的镜像。
第三步:检查 Docker 和脚本中的外部下载
bash
grep -rn \
"github.com.*releases/download\|raw.githubusercontent.com\|git clone" \
Dockerfile* Makefile scripts/ 2>/dev/null
重点关注:
-
GitHub Release 下载地址。
-
Raw 文件地址。
-
安装脚本中的 Git Clone。
-
Docker 构建时下载的第三方工具。
这些资源应该尽可能转移到自己控制的存储空间。
第四步:检查 GitHub Actions
bash
grep -rn "uses:" .github/workflows/ 2>/dev/null
把所有第三方 Action 列出来。
优先处理由个人维护、没有明确组织保障、但又掌握 CI 权限的 Action。
第五步:检查 AI 模型资源
bash
grep -rn \
"huggingface.co\|cdn-lfs\|\.onnx\|\.gguf\|\.safetensors" \
--include="*.py" \
--include="*.yaml" \
--include="*.toml" \
. 2>/dev/null
检查模型是否在运行时直接从公共平台下载。
尤其需要确认生产环境使用的模型文件,是否有完整的本地备份。
最后:生成一份依赖清单
bash
grep -rhoE \
"github.com/[A-Za-z0-9_.-]+/[A-Za-z0-9_.-]+" \
--include="*.json" \
--include="*.lock" \
--include="*.yml" \
--include="*.yaml" \
--include="*.toml" \
--include="*.txt" \
--include="Dockerfile*" \
. 2>/dev/null | sort -u
这样可以初步列出项目中出现过的 GitHub 仓库地址。
注意,这只是快速排查,并不能覆盖所有依赖来源。还需要结合安装脚本、Dockerfile、CI 配置和实际构建日志检查。
四、真正靠谱的解决方案:建立自己的依赖镜像
检查出问题之后,下一步不是把所有依赖都复制一遍。
而是区分哪些资源值得自己保存。
我比较认同原文的一个判断标准:
如果这个资源今晚突然消失,你的业务会停止,还是只是让开发者抱怨一会儿?
前者值得备份,后者不一定需要。
1. Git 仓库镜像
Git 自带一个非常实用的功能:
bash
git clone --mirror \
https://github.com/ORG/REPO.git \
/mirrors/REPO.git
--mirror 会尽可能完整地复制仓库的分支、标签和 Git 引用。
之后可以定期更新:
bash
git -C /mirrors/REPO.git remote update --prune
也可以把自己的 Git 镜像托管在:
-
自建 Git 服务
-
GitLab
-
Gitea
-
内部 Git 服务器
需要注意,普通 Git Mirror 并不等于完整备份。
有两个容易遗漏的地方:
Git LFS:
bash
cd /mirrors/REPO.git
git lfs fetch --all
Git LFS 中的大文件需要单独获取,普通镜像可能只复制指针文件。
GitHub Release:
Release 附件并不属于普通 Git 对象数据库。
因此还需要单独下载:
bash
gh release list \
--repo ORG/REPO \
--limit 200
再使用:
bash
gh release download v1.2.3 \
--repo ORG/REPO \
--dir ./mirrors/assets/v1.2.3
不要以为执行一次 git clone --mirror 就备份了整个项目。
2. Python:建立 Wheelhouse
Python 可以非常方便地离线保存依赖:
bash
pip download \
-r requirements.txt \
-d ./wheelhouse
之后即使外部 PyPI 暂时无法访问,也可以使用本地文件安装:
bash
pip install \
--no-index \
--find-links=./wheelhouse \
-r requirements.txt
对于需要长期维护的 Python 服务,这是一个很实用的方案。
3. JavaScript:使用 Verdaccio
Node.js 生态可以考虑部署 Verdaccio。
它是一个轻量级的私有 npm Registry,支持缓存上游 npm 包。
构建流程变成:
bash
项目
↓
自己的 npm Registry
↓
本地缓存
↓
npm 官方 Registry
这样常用依赖下载过一次之后,就可以优先从自己的缓存获取。
4. Docker:使用 Registry Mirror
容器镜像也应该有自己的缓存策略。
可以使用 Harbor、Artifactory 等工具管理镜像。
另外,Dockerfile 中尽量不要只使用浮动 Tag:
bash
FROM python:3.12-slim
更稳妥的方式是固定镜像 Digest:
bash
FROM python:3.12-slim@sha256:YOUR_DIGEST
这样可以避免同一个 Tag 在不同时间指向不同镜像。
当然,固定 Digest 也不能替代镜像缓存,关键镜像仍然需要确保能够重新获取。
5. AI 模型:备份完整模型目录
对于 AI 项目,我更建议直接保存完整模型目录,而不是只备份权重文件。
例如:
bash
models/
my-model/
config.json
tokenizer.json
tokenizer_config.json
generation_config.json
model.safetensors
同时记录文件 SHA256:
bash
find models/my-model -type f -exec shasum -a 256 {} \;
生产环境应该优先使用自己控制的模型存储。
公共模型平台可以继续作为更新来源,但不要让它成为唯一的运行时依赖。
五、还有一个重要步骤:真正断网测试一次
我觉得原文中最值得借鉴的,并不是建立镜像,而是它提出的一个验证方式:
定期让 CI 在无法访问公共依赖源的环境中构建项目。
为什么?
因为很多团队虽然做了缓存,但实际上构建流程仍然偷偷访问外部网络。
例如:
-
Docker 构建时临时下载了一个工具。
-
某个 Python 包安装时执行了 Git Clone。
-
模型初始化时自动请求 Hugging Face。
-
某个 Action 每次运行都需要访问上游仓库。
平时网络正常,这些问题根本不会暴露。
可以专门建立一个离线构建任务:
bash
每周定时触发
↓
启动隔离构建环境
↓
屏蔽公共依赖源
↓
只允许访问内部镜像
↓
执行完整构建
↓
测试通过 / 记录失败依赖
如果项目无法在这种环境中完成构建,就说明依赖镜像还不完整。
另外,建议维护一份 MIRROR_MANIFEST.txt:
bash
Repository: microsoft/onnxruntime
Version: 1.32.0
Original URL: https://github.com/microsoft/onnxruntime
Artifact: onnxruntime-linux-x64-1.32.0.tgz
SHA256: <actual-sha256>
Mirror: https://git.example.com/mirrors/onnxruntime
Last Verified: YYYY-MM-DD
这里的 SHA256 必须来自实际下载文件,不能随意填写。
这样即使几年后更换 CI 平台、服务器或者开发团队,也能够知道每个依赖从哪里来、备份在哪里,以及如何验证它。
六、写在最后:开源不等于永远可用
这次 ONNX Runtime 的 GitHub 404 事件,其实给开发者上了一课。
我们一直在讨论开源软件的自由、技术共享和社区协作。
但在实际开发中,还有一个经常被忽略的问题:
你有权使用一个开源项目,并不意味着你拥有它的托管服务、构建资源和持续交付能力。
GitHub 是一个非常优秀的开发协作平台,但它不是你的私人备份服务器。
PyPI、npm、Hugging Face 也一样。
它们让开发变得更加简单,却不应该成为你业务唯一的基础设施。
尤其是现在 AI 应用越来越依赖大型模型、推理引擎和各种外部工具链,依赖关系已经远远超出了传统的软件包管理范围。
一个项目可能有几十个直接依赖,却有数百个间接依赖。
你可能知道自己用了什么框架,却不知道构建过程中究竟从多少个外部地址下载过文件。
所以,我觉得每个认真维护的软件项目,都应该有三个基本能力:
-
可追溯: 知道自己的代码、模型、二进制文件来自哪里。
-
可恢复: 关键依赖有自己的镜像和备份。
-
可离线构建: 即使公共仓库暂时无法访问,也能重新构建出可用的软件。
不需要一开始就搭建复杂的企业级供应链系统。
先检查自己的 Lockfile、Submodule、Dockerfile 和 CI 配置,再把真正重要的依赖保存下来。
可能只需要一个下午。
但这一个下午,或许能避免未来某一天,因为一个陌生的 404 错误,让整个项目停摆。
不要等到依赖消失的那一天,才发现自己从来没有真正拥有过它。
编辑注 :可以结合英特尔和微软的扩大合作是否有关联, 毕竟英特尔也会fork 这个仓库,还设计18A-P落地 ?
编辑精选:
Reminder 2.0 上线:让桌面上的小猫,替你记住重要的事