GitHub Models：为开源AI项目解决推理难题，让AI更易用、更普及

引言：开源AI项目的"隐形门槛"

如今，AI功能几乎成了软件项目的标配。无论是智能摘要、代码补全，还是聊天机器人，我们都希望通过调用大模型的能力提升产品竞争力。

但对于开源项目 来说，这背后隐藏着一个大难题：推理API的接入门槛过高。

你可能会看到类似这样的错误提示：

bash 复制代码

$ my-cool-ai-tool
Error: OPENAI_API_KEY not found

这意味着用户需要手动申请并支付OpenAI、Anthropic等API服务费用，仅仅为了"试一试"你的项目。更别说自托管模型还需要大量显存、本地配置、甚至无法在CI/CD（如GitHub Actions）中轻松运行。

这些都在无形中劝退了潜在用户与贡献者。

GitHub Models来了：开箱即用的免费推理服务

为了解决上述问题，GitHub 推出了 GitHub Models ------ 一个 兼容 OpenAI API 且永久免费 的推理接口，专为开源项目设计。

✅ GitHub Models 的亮点：

完全免费：对所有 GitHub 用户和开源组织开放
免配置：无需申请新的API Key，只要你有 GitHub Token（包括 CI/CD 中的内置 GITHUB_TOKEN）
开箱即用：与 OpenAI SDK 100%兼容，代码基本无需改动
模型丰富：支持 GPT-4o、LLaMA 3、DeepSeek 等多个模型

如何使用 GitHub Models 进行推理？

以 JavaScript 示例为例，只需指定 baseURL 并使用 GitHub Token，即可调用：

js 复制代码

import OpenAI from "openai";

const openai = new OpenAI({
  baseURL: "https://models.github.ai/inference/chat/completions",
  apiKey: process.env.GITHUB_TOKEN
});

const res = await openai.chat.completions.create({
  model: "openai/gpt-4o",
  messages: [{ role: "user", content: "Hi!" }]
});
console.log(res.choices[0].message.content);

只要用户拥有 GitHub 账户，就能跑通你的AI代码；运行在 GitHub Actions 的脚本甚至连 Token 都不需要配置！

GitHub Actions 中零配置集成AI

以前，我们必须在项目中添加 OPENAI_API_KEY 作为 GitHub Secret，这对新手用户和贡献者来说很不友好。

现在你只需在 workflow 文件中添加权限：

yaml 复制代码

# .github/workflows/triage.yml
permissions:
  contents: read
  issues: write
  models: read   # 👈 解锁 GitHub Models 权限

jobs:
  triage:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: Smart issue triage
        run: node scripts/triage.js

你的CI脚本即可直接调用AI模型，无需任何额外配置。适用于：

自动PR摘要
issue智能打标签
仓库每周更新摘要
更多脚本自动化应用

当你的项目爆红，如何扩展推理能力？

GitHub Models提供 免费套餐 ，但如果你的项目发展迅猛，也可以通过"Settings > Models"开启付费推理功能：

更高请求频率（RPM）
更大上下文窗口（最大支持128k token）
更低延迟（独立部署，避免共享队列）

写在最后：拥抱开源AI的未来

大语言模型正加速改变开发方式，但复杂的API配置和高昂的调用成本常常劝退了新用户。

GitHub Models 的出现彻底打破了这个壁垒：

用户不用注册/配置 API Key
维护者不用在文档中反复说明"你需要设置一个密钥"
贡献者可以快速上手调试/运行你的项目
所有 GitHub 用户都有默认访问权限

如果你正在开发或维护一个开源AI工具，不妨立即集成 GitHub Models，让AI"即插即用"！

原文链接：https://github.blog/ai-and-ml/llms/solving-the-inference-problem-for-open-source-ai-projects-with-github-models/